JP7316354B2 - 処理装置 - Google Patents

処理装置 Download PDF

Info

Publication number
JP7316354B2
JP7316354B2 JP2021519504A JP2021519504A JP7316354B2 JP 7316354 B2 JP7316354 B2 JP 7316354B2 JP 2021519504 A JP2021519504 A JP 2021519504A JP 2021519504 A JP2021519504 A JP 2021519504A JP 7316354 B2 JP7316354 B2 JP 7316354B2
Authority
JP
Japan
Prior art keywords
data
user
display
location
risk
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021519504A
Other languages
English (en)
Other versions
JPWO2020230892A1 (ja
Inventor
祐樹 松永
智仁 山▲崎▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Docomo Inc
Original Assignee
NTT Docomo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Docomo Inc filed Critical NTT Docomo Inc
Publication of JPWO2020230892A1 publication Critical patent/JPWO2020230892A1/ja
Application granted granted Critical
Publication of JP7316354B2 publication Critical patent/JP7316354B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02Viewing or reading apparatus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/64Constructional details of receivers, e.g. cabinets or dust covers

Description

本発明は、処理装置に関する。
特許文献1には、シースルー型のウエアラブルディスプレイが開示されている。このウエアラブルディスプレイは、装着者の自律的な移動の有無に応じて、装着者の安定注視野内に相当する表示領域に対する表示を非表示とする。また、特許文献2には、ユーザが危険な場所又は状況に置かれているという環境情報に応じて画像の視認性を制御するシースルー型の情報処理装置が開示されている。
特開2015-213226号公報
特開2017-182340号公報
しかしながら、シースルー型のウエアラブルディスプレイを装着したユーザの危険度を、ユーザの動作のみで決定すると、安全な場所においてユーザが画像を視聴する妨げとなる。ここで、ユーザの危険度とは、ウエアラブルディスプレイを装着したユーザが、これから行おうとする行動が危険であることを表す度合いを表す。一方、ユーザの危険度をユーザの置かれる環境によって一律に決定すると、画像を表示することによってユーザの安全性が損なわれる場合がある。従来の技術では、単に、ユーザの動作又はユーザの環境に応じて画像の表示と非表示を切り替えるだけであるので、ユーザが安全な場所又は状況に置かれているにもかかわらず画像が非表示となり、あるいは、ユーザが危険な場所又は状況に置かれているにもかかわらず画像が表示されるといった問題があった。
以上の課題を解決するために、本発明の好適な態様に係る処理装置は、ユーザの存在する場所に関する場所データ及び前記ユーザの周りの状況に関する状況データの少なくとも一方を含む環境データとユーザの動作に関する動作データとを生成する第1生成部と、前記場所データ及び前記状況データのうち少なくとも一方と、前記動作データとに基づいて、前記ユーザに関する危険の程度を示す危険度データを生成する第2生成部と、前記危険度データに基づいて、前記ユーザの頭部に装着されるヘッドマウントディスプレイが有する表示装置における画像の表示を制御する表示制御部と、を備える。
本発明によれば、ユーザの動作とユーザの置かれる環境との両方を考慮して、表示装置における画像の表示を制御するので、ユーザの安全性とユーザに情報を提供することを両立できる。
第1実施形態に係る画像処理装置の外観を示す斜視図である。 ユーザが画像処理装置を頭部に装着した状態で観察される視界の一例を示す説明図である。 画像処理装置の全体構成を示すブロック図である。 画像処理装置の動作の一例を示すフローチャートである。 第2テーブルの記憶内容を示す説明図である。 第3テーブルの記憶内容を示す説明図である。 表示装置の表示状態と非表示状態の一例を示す説明図である。 表示装置の表示状態と非表示状態の一例を示す説明図である。 動作データの生成処理の一例を示すフローチャートである。 場所データの生成処理の一例を示すフローチャートである。 状況データの生成処理の一例を示すフローチャートである。 第2実施形態の画像処理装置における表示装置の制御に関する処理を示すフローチャートである。 第3実施形態の画像処理装置における表示装置の制御に関する処理を示すフローチャートである。 第4テーブルの記憶内容を示す説明図である。
1.第1実施形態
1-1.画像処理装置の構成
図1は、第1実施形態に係る画像処理装置1の外観を示す斜視図である。以下の説明では、画像処理装置1としてスマートグラスを想定する。
図1に示されるように画像処理装置1は、一般的な眼鏡と同様にテンプル91及び92、ブリッジ93、胴部94及び95、並びにレンズ41L及び41Rを有する。ブリッジ93には撮像装置70が設けられる。撮像装置70は外界を撮像し、撮像した画像を示す撮像データを出力する。また、テンプル91及び92の各々には、音を出力する音出力装置50が設けられる。音出力装置50は、ユーザが画像処理装置1を頭部に装着した状態において耳の近傍に位置する。
レンズ41L及び41Rの各々は、ハーフミラーを備えている。胴部94には、左眼用の液晶パネル又は有機ELパネル(以下、表示パネルと総称する)と、左眼用の表示パネルから射出された光をレンズ41Lに導光する光学部材が設けられる。レンズ41Lに設けられるハーフミラーは、外界の光を透過させて左眼に導くとともに、光学部材によって導光された光を反射して左眼に入射させる。胴部95には、右眼用の表示パネルと、右眼用の表示パネルから射出された光をレンズ41Rに導光する光学部材が設けられる。レンズ41Rに設けられるハーフミラーは、外界の光を透過させて右眼に導くとともに、光学部材によって導光された光を反射して右眼に入射させる。
後述する表示装置40は、レンズ41L、左眼用の表示パネル、及び左眼用の光学部材、並びにレンズ41R、右眼用の表示パネル、及び右眼用の光学部材を含む。
以上の構成において、表示パネルに表示される画像が、ユーザの周りの様子と一緒に、ユーザの視界に現れる。また、画像処理装置1が、視差を伴う両眼画像のうち、左眼用画像を左眼用の表示パネルに表示させ、右眼用画像を右眼用の表示パネルに表示させることによって、ユーザに対し、表示された画像があたかも奥行きと立体感を持つかのように知覚させることが可能となる。この例の画像処理装置1は、光学シースルータイプのスマートグラスである。
図2は、ユーザが画像処理装置1を頭部に装着した状態で観察される視界Wの一例を示す説明図である。図2に示されるように視界Wには、表示パネルに表示される画像Xが現れる。この例では、画像Xが半透過となっている。画像Xがユーザに認識されることによって、ユーザに各種の情報が提供される。図2に示す例では、ユーザは、3件のメールの受信があり、今日の予定が1件あることが分かる。一方、画像Xの存在によって、ユーザが周りの状況を認識できる程度は低下する。
図3は、画像処理装置1の全体構成を示すブロック図である。画像処理装置1は、処理装置10、記憶装置20、通信装置30、表示装置40、音出力装置50、動き検出装置60、撮像装置70、視線検出装置80、及びGPS装置90を備える。画像処理装置1の各要素は、情報を通信するための単体又は複数のバスで相互に接続される。なお、本明細書における「装置」という用語は、回路、デバイス又はユニット等の他の用語に読替えてもよい。また、画像処理装置1の各要素は、単数又は複数の機器で構成され、画像処理装置1の一部の要素は省略されてもよい。
処理装置10は、画像処理装置1の全体を制御するプロセッサであり、例えば、単数又は複数のチップで構成される。処理装置10は、例えば、周辺装置とのインタフェース、演算装置及びレジスタ等を含む中央処理装置(CPU:Central Processing Unit)で構成される。なお、処理装置10の機能の一部又は全部を、DSP(Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)、PLD(Programmable Logic Device)、FPGA(Field Programmable Gate Array)等のハードウェアによって実現してもよい。処理装置10は、各種の処理を並列的又は逐次的に実行する。
記憶装置20は、処理装置10が読取可能な記録媒体であり、処理装置10が実行する制御プログラムP1を含む複数のプログラム、第1テーブルTBL1、第2テーブルTBL2、第3テーブルTBL3及び処理装置10が使用する各種のデータを記憶する。記憶装置20は、例えば、ROM(Read Only Memory)、EPROM(Erasable Programmable ROM)、EEPROM(Electrically Erasable Programmable ROM)、RAM(Random Access Memory)等の少なくとも1つによって構成されてもよい。記憶装置20は、レジスタ、キャッシュ、メインメモリ(主記憶装置)等と呼ばれてもよい。
通信装置30は、他の装置と通信を行うためのハードウェア(送受信デバイス)である。通信装置30は、例えば、ネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュール等とも呼ばれる。
通信装置30は、移動体通信網を介して他の装置と通信する。また、通信装置30は、近距離無線を用いて他の装置と通信する。近距離無線通信は、例えばBluetooth(登録商標)、ZigBee、又は、WiFi(登録商標)等が挙げられる。通信装置30は、近距離無線で他の装置から送信されるビーコン信号を受信し、受信したビーコン信号に含まれる識別子を出力する。識別子によって、送信元の他の装置を識別できる。通信装置30が無線LAN(Local Area Network)のアクセスポイントと通信する場合には、アクセスポイントに割り当てられたネットワーク上の識別アドレス(MAC(Media Access Control)アドレス)が識別子に相当する。また、通信装置30がBluetoothを用いて通信する場合、BLE(Bluetooth Low Energy)規格に準拠したアドバタイズメント・パケットに含まれるID情報が識別子に相当する。
表示装置40は、画像を表示するデバイスである。表示装置40は、処理装置10による制御のもとで各種の画像を表示する。表示装置40は、レンズ41L、左眼用の表示パネル、及び左眼用の光学部材、並びにレンズ41R、右眼用の表示パネル、及び右眼用の光学部材を含む。表示パネルとしては、例えば、液晶表示パネル及び有機EL(Electro Luminescence)表示パネル等の各種の表示パネルが好適に利用される。
音出力装置50は、例えば、DA変換器、増幅器、及びスピーカを備えている。音出力装置50には、処理装置10から音データが供給される。DA変換器はデジタル信号である音データをアナログ信号である音信号に変換する。増幅器は音信号を増幅し、増幅された音信号をスピーカに供給する。スピーカは、増幅された音信号に応じた音を出力する。例えば、通信装置30を介して取得した映画の動画データを処理装置10がデコードする場合、映画の音データが音出力装置50に供給される。ユーザは、音出力装置50から出力される映画の音を聞くことができる。
動き検出装置60は、画像処理装置1の動きを検出して、動きデータを出力する。動き検出装置60としては、加速度を検出する加速度センサー及び角加速度を検出するジャイロセンサーなどの慣性センサーが該当する。加速度センサーは、直交するX軸、Y軸、及びZ軸の加速度を検出する。ジャイロセンサーは、X軸、Y軸、及びZ軸の各々を回転の中心軸とする角加速度を検出する。ジャイロセンサーの出力情報に基づいて、画像処理装置1の姿勢を示す姿勢情報を生成することができる。動きデータは、3軸の加速度を各々示す加速度データ及び3軸の角加速度を各々示す角加速度データを含む。
撮像装置70は、外界を撮像して得た撮像データを出力する。撮像装置70は、例えば、レンズ、撮像素子、増幅器、及びAD変換器を備える。レンズを介して集光された光は、撮像素子によってアナログ信号である撮像信号に変換される。増幅器は撮像信号を増幅してAD変換器に出力する。AD変換器はアナログ信号である増幅された撮像信号をデジタル信号である撮像データに変換する。処理装置10は、撮像データに基づいて、ユーザの各種のジェスチャーを検出し、検出されたジェスチャーに応じて画像処理装置1を制御する。即ち、撮像装置70は、ポインティングデバイス及びタッチパネルのように、ユーザの指示を入力するための入力装置として機能する。
視線検出装置80は、ユーザの視線を検出し、検出結果に基づいてユーザの視線の方向を示す視線データを出力する。
GPS装置90は、複数の衛星からの電波を受信し、受信した電波から位置データを生成する。位置データは、画像処理装置1の位置を示す。位置データの形式は、画像処理装置1の位置を特定できるのであれば、どのような形式であってもよい。位置データは、例えば、画像処理装置1の緯度と経度とを示す。この例では、位置データはGPS装置90から得られることを例示するが、画像処理装置1は、どのような方法で位置データを取得してもよい。
処理装置10は、例えば、記憶装置20から制御プログラムP1を読み出して実行することによって、取得部11、第1生成部12、第2生成部13、及び表示制御部14として機能する。
取得部11は、動き検出装置60によって生成された動きデータ、撮像装置70によってユーザの周りを撮像して得えられた撮像データ、及びGPS装置90によって生成された位置データを取得する。
第1生成部12は、環境データとユーザの動作に関する動作データとを生成する。環境データは、ユーザの存在する場所に関する場所データ及びユーザの周りの状況に関する状況データを含む。
第1生成部12は、動きデータに基づいて動作データを生成する。動作データは、ユーザの動作として、例えば、着席、起立、及び歩行を示す。具体的には、第1生成部12は、動きデータに含まれる加速度データを用いて、動作データを生成する。
第1生成部12は、位置データに基づいて場所データを生成する。上述したように位置データは、ユーザの存在する位置を、例えば、緯度と経度で示す座標である。場所データは、ユーザの存在する場所を示し、例えば、自宅、会社、駅、道路、及び特定の店舗などが該当する。第1生成部12は、位置データを場所データに変換するため、記憶装置20に記憶された第1テーブルTBL1を参照する。第1テーブルTBL1には、座標と施設名とが対応付けられて記憶されている。さらに、第1生成部12は、第1テーブルTBL1を参照してもユーザの場所が特定できない場合、Web上の地図サービスを利用して位置データを場所データに変換する。また、第1生成部12は、通信装置30を用いて受信したビーコン信号に含まれる識別子に基づいて、場所データを生成してもよい。例えば、カフェ、ホテル又は駅などでは、近距離無線サービスが提供される場合がある。この場合、アクセスポイントから送信されるビーコン信号には、識別子が含まれる。第1生成部12は、アクセスポイントに割り当てられたネットワーク上の識別アドレスと実際の住所(位置)とを互いに対応付けたデータベースを参照して位置データを生成してもよい。
第1生成部12は、撮像データ、位置データ、動きデータ、及び識別子に基づいて、状況データを生成する。状況データの示すユーザの周りの状況には、ユーザが電車で移動している、ユーザが車両を運転している、及びユーザが雑踏にいるなどがある。
第1生成部12は、例えば、加速度データから算出した速度が所定範囲内にあり、且つ位置データに基づいて移動経路が電車の線路上にあることを検知した場合に、ユーザが電車で移動していると判別する。即ち、ユーザが電車で移動していることを示す状況データを生成するためには、加速度データを含む動きデータと位置データとの組みの取得が前提となる。
第1生成部12は、例えば、撮像データの示す画像に車両のハンドル(steering wheel)が含まれており、且つ画像処理装置1の移動速度が所定速度以上である場合に、ユーザが車両を運転していることを示す状況データを生成してもよい。この場合、車両を運転していることを示す状況データを生成するためには、加速度データを含む動きデータと撮像データとの組みの取得が前提となる。あるいは、第1生成部12は、運転席のヘッドレストに埋め込まれた送信装置から送信されるNFC(Near Field Communication)の信号を検知し、検知結果に基づいて、ユーザが運転席に着席していることを検出してもよい。加えて、第1生成部12は、車両からイグニッションがONであることを示す信号を取得した場合、ユーザが運転席に着席していると判断し且つイグニッションONの場合に、ユーザが車両を運転していることを示す状況データを生成してもよい。処理装置10は、NFCからの信号を通信装置30を介して取得する。また、イグニッションがONであることを示す信号は車両の制御装置から送信される。処理装置10は、車両の制御装置からの信号を通信装置30を介して取得する。
第1生成部12は、通信装置30から出力される識別子の数が所定数以上であるか否かを判定し、判定結果が肯定である場合に、ユーザの状況が雑踏の中にいることを示す状況データを生成してもよい。即ち、ユーザが電車で移動していることを示す状況データを生成するためには、加速度データを含む動きデータと位置データとの組みの取得が前提となる。
第2生成部13は、動作データ、場所データ、及び状況データに基づいて、ユーザのいる場所とユーザの周りの状況とのうち少なくとも一方と、ユーザの動作との組み合わせに基づいて、ユーザに関する危険の程度を示す危険度データを生成する。
表示制御部14は、危険度データに基づいて、ユーザの眼前に位置する表示装置40における画像の表示を制御する。画像の表示の制御には、以下の態様がある。表示制御部14は、危険度データに基づいて、表示装置40に画像を表示させるか否かを制御する。表示装置40に画像が表示される場合、表示装置40に画像が表示されない場合と比較して、ユーザが周囲の状況を認識する程度は低下する。危険度データに基づいて画像の表示又は非表示を制御するので、ユーザが安全な環境に置かれている場合にユーザに各種の情報を提供する一方、ユーザが危険な環境に置かれている場合には、ユーザが周囲の状況を認識することを妨げない。
1-2.画像処理装置の動作
次に、画像処理装置1の動作を説明する。図4は画像処理装置1の動作の一例を示すフローチャートである。処理装置10は、動きデータに基づいて動作データを生成する(ステップS1)。なお、動作データの生成の詳細は後述する。
次に、処理装置10は、ユーザの存在する場所が既知であるか否かを判定する(ステップS2)。上述したように場所データを生成するためには、位置データの取得が前提となる。ステップS2において、処理装置10は、位置データが取得可能な場合にユーザが存在する場所が既知であると判定する。
ステップS2の判定結果が肯定である場合、処理装置10は、ユーザの周りの状況が既知であるかを判定する(ステップS3)。上述したように状況データを生成するためには、動きデータ及び位置データの組の取得、又は、動きデータ及び撮像データの組の取得などが前提となる。ユーザの周りの状況が既知であるとは、状況データを生成するために必要な各種のデータが取得可能であることを意味する。ステップS3において、処理装置10は、これらのデータの組が取得可能であるかによって、ユーザの周りの状況が既知であるかを判定する。ステップS3の判定結果が否定である場合、処理装置10は場所データを生成する(ステップS4)。一方、ステップS3の判定結果が肯定である場合、処理装置10は場所データ及び状況データを生成する(ステップS5)。
また、ステップS2の判定結果が否定である場合、処理装置10はユーザの周りの状況が既知であるか否かを判定する(ステップS6)。処理装置10は、ステップS6においてもステップS3と同様に、状況データを生成するために必要な各種のデータが取得可能であるかを判定する。ステップS6の判定結果が否定である場合、ユーザの存在する場所及びユーザの周りの状況が不明となる。両者が不明である場合、処理装置10は、処理をステップS1に戻す。一方、ステップS6の判定結果が肯定である場合、処理装置10は、状況データを生成する(ステップS7)。場所データと状況データの生成処理の詳細については後述する。
ステップS5の処理が終了すると、処理装置10はユーザの場所が所定の場所であるか否かを判定する(ステップS8)。具体的には、例えば、所定の場所が自宅に設定されている場合、処理装置10は、場所データの示す場所が、自宅であるかを判定する。ステップS8の判定結果が肯定である場合、処理装置10は、場所データと動作データとに基づいて危険度データを生成する(ステップS9)。具体的には、処理装置10は、記憶装置20に記憶された第2テーブルTBL2を参照して危険度データを生成する。ステップS8において、ユーザの場所が所定の場所であるか否かを判定したのは、ユーザの存在する場所が所定の場所である場合には、ユーザの周りの状況よりもユーザの存在する場所を優先して、危険度データを生成するためである。
図5に第2テーブルTBL2の記憶内容を示す。図5に示すように第2テーブルTBL2には、ユーザの存在する場所とユーザの動作との組に対応付けて危険度が記憶されている。図5に示す例では、場所が自宅である場合、着席の危険度が「1」、起立の危険度が「2」、歩行の危険度が「3」に設定されている。一方、場所が駅である場合、着席の危険度が「1」、起立の危険度が「4」、歩行の危険度が「20」に設定されている。ユーザは自宅にある家具の配置などをよく知っている。一方、ユーザは、駅にあるベンチ又は柱などの位置を全て把握していない。さらに、駅では多数の人が歩行している。このため、駅の危険度は自宅の危険度よりも高く設定される。
説明を図4に戻す。ステップS8の判定結果は否定であった場合、又はステップS7における状況データの生成処理が終了した場合、処理装置10は、状況データ及び動作データに基づいて、危険度データを生成する(ステップS10)。具体的には、処理装置10は、記憶装置20に記憶された第3テーブルTBL3を参照して危険度データを生成する。
図6に第3テーブルTBL3の記憶内容を示す。図6に示すように第3テーブルTBL3には、ユーザの周りの状況とユーザの動作との組に対応付けて危険度が記憶されている。図6に示す例では、ユーザの周りの状況が「電車で移動」である場合、着席の危険度が「2」、起立の危険度が「3」、歩行の危険度が「10」に設定される。一方、ユーザの周りの状況が「雑踏」である場合、着席の危険度が「7」、起立の危険度が「15」、歩行の危険度が「20」に設定される。ユーザが電車で移動している期間中はユーザが着席していれば、ユーザの安全性が確保される。一方、雑踏ではユーザが例えばベンチに着席していても、人がユーザにぶつかってくる可能性がある。このため、ユーザが電車で移動する場合の危険度は、雑踏の危険度と比較して低く設定される。
説明を図4に戻す。ステップS9又はステップS10の処理が終了すると、処理装置10は、危険度データに基づいて、表示装置40における画像の表示を制御する(ステップS11)。ステップS11において処理装置10は、危険度データの示す危険度を基準値と比較し、危険度が基準値以上である場合、表示装置40に画像を非表示することによって表示装置40を非表示状態に制御する。一方、危険度が基準値未満である場合、処理装置10は、表示装置40に画像を表示することによって表示装置40を表示状態に制御する。
基準値が「5」であり、場所データと動作データに基づいて図5に示す危険度が生成されることを想定する。表示装置40の表示状態と非表示状態との区別は、ユーザの動作とユーザの存在する場所との組み合わせに応じて、図7に示される。但し、図7において、表示状態は「ON」と表記され、非表示状態は「OFF」と表記される。図7に示す例では、ユーザの存在する場所が自宅である場合、表示装置40はユーザの動作と無関係に表示状態に制御される。自宅であればユーザの安全が確保されるからである。一方、ユーザの存在する場所が会社である場合、ユーザの動作が着席であれば表示装置40は表示状態に制御される。また、ユーザの存在する場所が会社である場合、ユーザの動作が起立又は歩行であれば表示装置40は非表示状態に制御される。即ち、自宅と比較して、会社では表示装置40に画像を表示することが制限される。
また、基準値が「5」であり、状況データと動作データに基づいて図7に示す危険度が生成されることを想定する。表示装置40の表示状態と非表示状態は、ユーザの周りの状況とユーザの存在する場所との組み合わせに応じて、図8に示すように決まる。図8に示す例では、ユーザの周囲の状況が電車で移動である場合、ユーザの動作が着席である場合を除いて表示装置40は非表示状態に制御される。一方、ユーザの周りの状況が雑踏である場合は、ユーザの動作と無関係に表示装置40は非表示状態に制御される。ユーザが電車で移動している期間中にユーザが着席していれば安全であるが、ユーザの周り状況が雑踏の場合は、ユーザが着席していても必ずしも安全とは限られない。このため、ユーザの周り状況が雑踏の場合は、電車での移動と比較して、表示装置40に画像を表示することがより制限される。
上述したステップS1からS7までの処理は、処理装置10が第1生成部12として機能することにより実現される。また、ステップS8からS10までの処理は、処理装置10が第2生成部13として機能することにより実現される。また、ステップS11の処理は、処理装置10が表示制御部14として機能することにより実現される。
次に、ステップS1における動作データの生成処理を説明する。図9は、動作データの生成処理の一例を示すフローチャートである。まず、処理装置10は、加速度データに基づいて重力加速度の方向を特定する(ステップS20)。この処理において、処理装置10は、所定時間に渡って一定の加速度が画像処理装置1に加わる方向を重力加速度の方向として特定する。
次に、処理装置10は、加速度データを2回積分して、画像処理装置1の相対位置を算出する(ステップS21)。加速度データの積分を開始する時刻を開始時刻としたとき、相対位置は、開始時刻におけるが画像処理装置1の位置を基準とした相対的な位置を示す。
次に、処理装置10は、画像処理装置1の相対位置が重力加速度の方向に変化し、且つ、相対位置の変化量が所定範囲内にあるかを判定する(ステップS22)。所定範囲とは、例えば、40cm以上80cm以下である。起立したユーザが着席する場合、画像処理装置1の相対位置は、重力加速度の方向に変化する。起立したユーザが着席する場合、変化量は、概ねユーザの腰から膝までの長さとなる。従って、ステップS22の判定結果が肯定である場合、起立したユーザが着席したと考えられる。この場合、処理装置10は着席を示す動作データを生成する(ステップS23)。
ステップS22の判定結果が否定である場合、処理装置10は、画像処理装置1の相対位置が重力加速度と反対の方向に変化し、且つ、変化量が所定範囲内にあるかを判定する(ステップS24)。所定範囲とは、例えば、40cm以上80cm以下である。着席したユーザが起立する場合、画像処理装置1の相対位置は、重力加速度の方向と反対方向に変化する。着席したユーザが起立する場合、変化量は、概ねユーザの腰から膝までの長さとなる。従って、ステップS24の判定結果が肯定である場合、着席したユーザが起立したと考えられる。この場合、処理装置10は起立を示す動作データを生成する(ステップS25)。
ステップS24の判定結果が否定である場合、処理装置10は、重力加速度の方向と直交する方向の画像処理装置1の速度が所定範囲内であるかを判定する(ステップS26)。
処理装置10は、加速度データを1回積分して速度を算出する。直交する方向の速度が所定範囲とは、例えば、1km/時以上4km/時以下である。ステップS26の判定結果が肯定である場合、処理装置10は歩行を示す動作データを生成する(ステップS27)。一方、ステップS26の判定結果が否定である場合、処理装置10は、処理をステップS20に戻す。
次に、図4の示すステップS4及びS5の場所データの生成処理を説明する。図10は、場所データの生成処理の一例を示すフローチャートである。まず、処理装置10は、通信装置30がGPS信号を受信したか否かを判定する(ステップS30)。ステップS30の判定結果が肯定の場合、処理装置10は位置データに基づいて場所を特定できるかを判定する(ステップS31)。ステップS31の判定結果が肯定である場合、処理装置10は位置データに基づく場所データを生成する(ステップS34)。
一方、ステップS30又はS31の判定結果が否定である場合、処理装置10は、通信装置30が近距離無線におけるビーコン信号を受信したか否かを判定する(ステップS32)。ステップS32の判定結果が肯定である場合、処理装置10は、ビーコン信号に含まれる識別子に基づいて場所を特定できるか否かを判定する(ステップS33)。ステップS33の判定結果が肯定である場合、処理装置10は識別子に基づいて、場所データを生成する(ステップS34)。
ステップS32又はS33の判定結果が否定である場合、ユーザの存在する場所は不明であるので、処理装置10は場所データを生成すること無く処理を終了する。
次に、図4の示すステップS5及びS7の状況データの生成処理を説明する。図11は、状況データの生成処理の一例を示すフローチャートである。まず、処理装置10は、撮像データの示す画像にハンドルが含まれているか否かを判定する(ステップS40)。ステップS40の判定結果が肯定である場合、処理装置10は、画像処理装置1の速度が所定値以上であるかを判定する(ステップS41)。処理装置10は、動きデータに含まれる加速度データを積分することによって、速度を算出する。
ステップS41の判定結果が肯定である場合、処理装置10は、ユーザが運転中であることを示す状況データを生成する(ステップS42)。
ステップS40の判定結果が否定である場合、処理装置10は通信装置30によってGPS信号が受信されたかを判定する(ステップS43)。ステップS43の判定結果が肯定である場合、処理装置10は位置データの示す画像処理装置1の位置が線路に沿って変化しているかを判定する(ステップS44)。ステップS44の判定結果が肯定である場合、処理装置10はユーザが電車で移動中であることを示す状況データを生成する(ステップS45)。
一方、ステップS43又はS44の判定結果が否定である場合、処理装置10は、通信装置30が1以上のビーコン信号を受信したか否かを判定する(ステップS46)。ステップS46の判定結果が肯定である場合、処理装置10は、1以上のビーコン信号に含まれる識別子の数が所定数以上であるかを判定する(ステップS47)。
スマートフォンなどの端末装置は、他の装置と近距離無線を用いて通信するためにビーコン信号を所定周期で送信していることが多い。このため、ユーザの周りにスマートフォンを所持する他のユーザがいる場合、画像処理装置1は他のユーザのスマートフォンから送信されるビーコン信号を受信する。識別子の数は、概ね、ユーザの周りにいるスマートフォンを所持する他のユーザの数と考えることができる。
そこで、ステップS47の判定結果が肯定である場合、処理装置10は、ユーザが雑踏にいることを示す状況データを生成する(ステップS48)。
一方、ステップS41、S46又はS47の判定結果が否定である場合、処理装置10は状況データを生成すること無く処理を終了する。
以上説明したように画像処理装置1(処理装置10)は、ユーザの存在する場所に関する場所データ及び前記ユーザの周りの状況に関する状況データを含む環境データとユーザの動作に関する動作データとを生成する第1生成部12と、場所データ及び状況データのうち少なくとも一方と、動作データとに基づいて、ユーザに関する危険の程度を示す危険度データを生成する第2生成部13と、危険度データに基づいて、ユーザの眼前に位置する表示装置40における画像の表示を制御する表示制御部14とを備える。
画像処理装置1によれば、ユーザの動作とユーザの置かれる環境との両方を考慮して、危険度を生成し、危険度に応じて表示装置40における画像の表示を制御する。このため、ユーザの動作及びユーザの置かれる環境の一方のみを考慮してユーザの危険度を算出する場合と比較して、ユーザの動作とユーザの置かれる環境との両方を考慮して、表示装置における画像の表示を制御するので、ユーザの安全性とユーザに情報を提供することを両立できる。ユーザの安全性とユーザに情報を提供することを適切にバランスできる。そして、画像処理装置1によれば、ユーザが安全な場所又は状況に置かれているにもかかわらず画像が非表示となり、あるいは、ユーザが危険な場所又は状況に置かれているにもかかわらず画像が表示されるといった問題が解消され、その結果、ユーザの安全性とユーザに情報を提供することを両立できる。
また、表示制御部14は、危険度データに基づいて、表示装置40に画像を表示させるか否かを制御する。表示装置40に画像が表示される場合、表示装置40に画像が表示されない場合と比較して、ユーザが周囲の状況を認識する程度は低下する。表示制御部14は危険度データに応じて表示装置40に画像を表示させないので、危険度が高い場合に表示装置40に表示させる表示領域の面積を小さくする又は表示領域の位置を中央からずらす場合と比較して、ユーザの安全性を高くできる。
画像処理装置1において、第1生成部12は、場所データ、状況データ、及び動作データを生成する。第2生成部13は、ユーザの存在する場所が不明、且つユーザの周りの状況が既知である場合、状況データと動作データとに基づいて、危険度データを生成する。そして、第2生成部13は、ユーザの周りの状況が不明、且つ前記ユーザの場所が既知である場合、場所データと動作データとに基づいて、危険度データを生成する。
画像処理装置1は、ユーザの存在する場所とユーザの周りの状況のいずれか一方が不明な場合には、いずれか他方のデータと動作データとに基づいて危険度データを生成する。従って、危険度データを生成するために、ユーザの存在する場所とユーザの動作を必要とする場合、あるいは、ユーザの周りの状況とユーザの動作を必要とする場合、と比較して、柔軟に危険度データを生成できる。
画像処理装置1において、第1生成部12は、場所データ、状況データ、及び動作データを生成し、第2生成部13は、場所データの示すユーザの場所が所定の場所である場合、動作データと場所データとに基づいて危険度データを生成し、場所データの示すユーザの場所が所定の場所でない場合、動作データと状況データとに基づいて危険度データを生成する。
画像処理装置1は、場所データの示す場所が所定の場所である場合、状況データより場所データを優先させて、危険度データを生成する。ユーザの存在する場所には、安全である可能性の高い自宅、あるいは、危険である可能性の高い駅などが含まれ得る。安全又は危険の程度が明らかな場所である場合、画像処理装置1は、ユーザの周りの状況よりもユーザの場所を優先させて危険度データを生成する。従って、画像処理装置1は、状況データより場所データを優先させない場合と比較して、ユーザの危険度を適切に生成できる。
画像処理装置1は、ユーザの周りを撮像して得えられた撮像データを取得する取得部11を備え、第1生成部12は、撮像データの示す画像に車両のハンドルが含まれるか否かを判定し、判定結果が肯定である場合に、ユーザが車両を運転中であることを示す状況データを生成する。ユーザが運転席に着席した状態では、撮像データの画像にハンドルが含まれる。従って、撮像データの示す画像にハンドルが含まれることを判定することによって、ユーザが運転席に着席していることを検知できる。画像処理装置1は、判定結果が肯定であることを、ユーザが運転中であることの必要条件とするので、ユーザが運転中であることを適切に判断できる。
画像処理装置1は、近距離無線で通信する通信装置30によって受信され、送信元の装置を識別する識別子を取得する取得部11を備える。また、第1生成部12は、識別子の数が所定数以上であるか否かを判定し、判定結果が肯定である場合に、ユーザの状況が雑踏の中にいることを示す状況データを生成する。識別子は送信元の装置を識別するので、識別子の数は、ユーザの周りに存在する送信元の装置の数を意味する。スマートフォンなどの端末装置は、近距離無線の機能を備えることが多いので、識別子の数は、概ねユーザの周りにいる他の人の数となる。従って、画像処理装置1は、識別子の数に基づいて、ユーザの状況が雑踏の中にいることを判別できる。
また、第1生成部12は、識別子に基づいて、ユーザの存在する場所を特定する。例えば、駅などの施設では、近距離無線サービスを提供することがある。近距離無線サービスを提供する施設では、アクセスポイントからビーコン信号が送信される。このため、画像処理装置1は、ビーコン信号に含まれる識別子に基づいて、ユーザの場所を特定できる。
2.第2実施形態
次に、第2実施形態について説明する。第2実施形態の画像処理装置1は、危険度を1つの基準値と比較し、比較結果に応じて表示装置40に画像を表示するか否かを決定した。これに対して、第2実施形態の画像処理装置1は危険度が基準値以上となる時間と、危険度が基準値未満となる時間に応じて、表示装置40に画像を表示するか否かを制御する点で、第1実施形態の画像処理装置1と相違する。
即ち、第2実施形態の画像処理装置1は、図4に示すステップS11の処理を除いて、第1実施形態の画像処理装置1と同じである。以下、相違点について説明する。図12は、第2実施形態の画像処理装置1における表示装置40の制御に関する処理を示すフローチャートである。
処理装置10は、表示装置40が表示状態であるか否かを判定する(ステップS50)。ステップS50の判定結果が肯定である場合、処理装置10は危険度データの示す危険度が基準値未満から基準値以上に変化したかを判定する(ステップS51)。処理装置10は、ステップS51の判定結果が肯定になるまで、ステップS51の判定を繰り返す。ステップS51の判定結果が肯定になると、処理装置10は時間の計測を開始する(ステップS52)。
次に、処理装置10は危険度が基準値以上となる時間が第1時間継続したか否かを判定する(ステップS53)。即ち、計測時間が第1時間に至る前に危険度が基準値以上から基準値未満に遷移すると、ステップS53の判定結果は否定になる。判定結果が否定の場合、処理装置10は、処理をステップS51に戻す。
一方、ステップS53の判定結果が肯定の場合、処理装置10は、表示装置40を表示状態から非表示状態に遷移させる(ステップS54)。表示装置40が非表示状態である場合、ステップS50の判定結果が否定となる。ステップS50の判定結果が否定となる場合又はステップS54の処理が完了すると、処理装置10は危険度データの示す危険度が基準値以上から基準値未満に変化したかを判定する(ステップS55)。処理装置10は、ステップS55の判定結果が肯定になるまで、ステップS55の判定を繰り返す。ステップS55の判定結果が肯定になると、処理装置10は時間の計測を開始する(ステップS56)。
次に、処理装置10は危険度が基準値未満となる時間が第2時間継続したか否かを判定する(ステップS57)。但し、第2時間は第1時間より短い。即ち、計測時間が第1時間よりも短い第2時間に至る前に危険度が基準値未満から基準値以上に遷移すると、ステップS57の判定結果は否定になる。判定結果が否定の場合、処理装置10は、処理をステップS55に戻す。一方、ステップS57の判定結果が肯定の場合、処理装置10は、表示装置40を非表示状態から表示状態に遷移させる(ステップS58)。
上述したステップS50からステップS58までの処理において、処理装置10は、表示制御部14として機能する。第2実施形態の表示制御部14は、第1時間以上継続して危険度データの示す危険度が基準値以上となる場合、表示装置40を、画像を表示する表示状態から画像を非表示とする非表示状態へ遷移させる。処理装置10は、危険度データの示す危険度が基準値未満の状態が前記第1時間よりも長い第2時間以上継続する場合、表示装置40を非表示状態から表示状態へ遷移させる。
非表示状態から表示状態へ遷移させるための基準となる第2時間は、表示装置40を表示状態から非表示状態へ遷移させるための基準となる第1時間よりも長い。即ち、表示装置40の表示状態から非表示状態への遷移は、非表示状態から表示状態の遷移よりも容易になる。このように表示装置40の画像表示の状態を遷移させる条件を互いに異ならせることによって、ユーザの安全性が向上する。
3.第3実施形態
次に、第3実施形態について説明する。第3実施形態の画像処理装置1は、表示装置40を表示状態から非表示状態へ遷移させるための基準値と、表示装置40を非表示状態から表示状態へ遷移させるための基準値とが相違する点で、第1実施形態の画像処理装置1と相違する。
即ち、第3実施形態の画像処理装置1は、図4に示すステップS11の処理を除いて、第1実施形態の画像処理装置1と同じである。以下、相違点について説明する。図13は、第3実施形態の画像処理装置1における表示装置40の制御に関する処理を示すフローチャートである。
処理装置10は、表示装置40が表示状態であるか否かを判定する(ステップS60)。ステップS60の判定結果が肯定である場合、処理装置10は危険度データの示す危険度が第1基準値未満から第1基準値以上に変化したかを判定する(ステップS61)。処理装置10は、ステップS61の判定結果が肯定になるまで、ステップS61の判定を繰り返す。ステップS61の判定結果が肯定になると、処理装置10は表示装置40を表示状態から非表示状態に遷移させる(ステップS62)。
表示装置40が非表示状態である場合、ステップS60の判定結果が否定となる。ステップS60の判定結果が否定となる場合又はステップS62の処理が完了すると、処理装置10は危険度データの示す危険度が第2基準値以上から第2基準値未満に変化したかを判定する(ステップS63)。処理装置10は、ステップS63の判定結果が肯定になるまで、ステップS63の判定を繰り返す。ステップS63の判定結果が肯定になると、処理装置10は、表示装置40を非表示状態から表示状態に遷移させ(ステップS58)、処理をステップS61に戻す。ここで、第2基準値は、第1基準値よりも小さい。
上述したステップS60からステップS64までの処理において、処理装置10は、表示制御部14として機能する。第3実施形態の表示制御部14は、危険度データの示す危険度が第1基準値未満から第1基準値以上に変化する場合、表示装置40を、画像を表示する表示状態から画像を非表示とする非表示状態へ遷移させ、危険度データの示す危険度が第1基準値より小さい第2基準値以上から第2基準値未満に変化する場合、表示装置40を非表示状態から表示状態へ遷移させる。
表示装置40を非表示状態から表示状態へ遷移させるための基準となる第2基準値は、表示装置40を表示状態から非表示状態へ遷移させるための基準となる第1基準値よりも小さい。即ち、表示装置40における表示状態から非表示状態への遷移は、非表示状態から表示状態の遷移よりも容易になる。このように表示装置40の状態の遷移にヒシテリシスを持たせることによって、ユーザの安全性が向上する。
4.変形例
本開示は、以上に例示した各実施形態に限定されない。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された2以上の態様を併合してもよい。
変形例1
上述した各実施形態では、環境データは場所データ及び状況データを含むが、環境データは場所データ及び状況データの一方のみを含んでもよい。この場合、危険度データは、場所データ及び動作データに基づいて生成されるか、又は状況データ及び動作データに基づいて生成される。
変形例2
また、上述した各実施形態では、場所データ及び動作データに基づいて危険度データが生成される場合(ステップS9)と、状況データ及び動作データに基づいて危険度データが生成される場合(ステップS10)とを説明したが、本開示はこれに限定されない。第2生成部13は、場所データ、状況データ及び動作データに基づいて危険度データを生成してもよい。例えば、記憶装置に図14に示す第4テーブルTBL4を記憶し、第2生成部13は、第4テーブルTBL4を参照して、危険度データを生成してもよい。
この例では、場所データが駅を示し、状況データが雑踏を示し、且つ動作データが着席を示す場合の危険度は5であり、場所データが駅を示し、状況データが雑踏を示し、且つ動作データが起立を示す場合の危険度は13であり、場所データが駅を示し、状況データが雑踏を示し、且つ動作データが歩行を示す場合の危険度は20である。また、場所データが道路を示し、状況データが雑踏を示し、且つ動作データが着席を示す場合の危険度は7であり、場所データが道路を示し、状況データが雑踏を示し、且つ動作データが起立を示す場合の危険度は15であり、場所データが道路を示し、状況データが雑踏を示し、且つ動作データが歩行を示す場合の危険度は20である。
このように、場所データ、状況データ及び動作データに基づいて生成される危険度データは、場所データ又は状況データと動作データとに基づいて生成される危険度データと比較して、ユーザを取り巻く環境をより反映している。従って、危険度データの精度が向上する。
変形例3
上述した各実施形態では、危険度に応じて表示装置40の画像を表示状態とするか、又は非表示状態にするかを制御したが、本開示はこれに限定されない。例えば、表示制御部14は、画像の表示の制御として、画像の表示領域の大きさ、画像の透過率及び画像の表示領域の位置を制御してもよい。例えば、危険度が高くなるほど、表示領域の大きさを小さくしてもよいし、あるいは、表示領域を画面中心から離れた位置に配置してもよい。さらに、表示制御部14は、危険度に応じて表示領域の大きさ及び位置を制御してもよい。
変形例4
上述した各実施形態では、画像処理装置1は、表示装置40を備えたが、本開示はこれに限定されない。例えば、画像処理装置1は、図3に示す構成要素のうち、処理装置10、記憶装置20、通信装置30、動き検出装置60及びGPS装置90を備えるスマートフォンなどの端末装置であってもよい。そして、表示装置40、音出力装置50、撮像装置70及び視線検出装置80を備えるスマートグラスと端末装置との間の通信によって、表示装置40における画像の表示を端末装置が制御してもよい。
変形例5
上述した各実施形態では、画像処理装置1は、危険度データに基づいて表示装置40における画像の表示を制御することによって、表示装置40を非表示状態にすることがあった。しかし、画像処理装置1は、特定のアプリケーションを実行することによって得られた画像を表示装置40に表示する場合は、危険度データと無関係に表示装置40を表示状態としてもよい。例えば、全国瞬時警報システムによって生成される各種の情報を表示装置40に表示させるアプリケーションによって生成された画像が該当する。
変形例6
上述した各実施形態では、第1生成部12は、撮像データの示す画像に車両の進行方向を制御するためのハンドルが含まれるか否かを判定し(ステップS40)、少なくとも判定結果が肯定である場合に、ユーザが車両を運転中であることを示す状況データを生成したが、本開示はこれに限定されない。撮像データの示す画像にハンドルが含まれるかの判定は、ユーザが運転席に着席していることを検知するために実行される。このため、第1生成部12は、ステップS40において、車両の内部に配置される複数の部材のうち、運転席よりも前方に配置される少なくとも一つの部材が撮像データの示す画像に含まれるか否かを判定してもよい。
この場合、第1生成部12は、運転席よりも前方に配置される少なくとも一つの部材が撮像データの示す画像に含まれるか否かを判定し、判定結果が肯定である場合に、ユーザが車両を運転中であることを示す状況データを生成してもよい。
変形例7
上述した各実施形態において画像処理装置1は、光学シースルーを用いたスマートグラスを一例として説明したが、本開示はこれに限定されない。画像処理装置1は、ユーザの頭部に装着されるヘッドマウントディスプレイであればよい。ヘッドマウントディスプレイは、各実施形態で説明した画像処理装置1の構成を有する。すなわち、表示装置40は、ユーザの頭部に装着されるヘッドマウントディスプレイに設けられている。
そのようなヘッドマウントディスプレイとしては、光学シースルータイプのスマートグラスの他に、ビデオシースルータイプのゴーグル、ビデオシースルータイプのスマートグラスが含まれる。
5.その他
(1)上述した各実施形態では、記憶装置20は、処理装置10が読取可能な記録媒体であり、ROM及びRAMなどを例示したが、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Blu-ray(登録商標)ディスク)、スマートカード、フラッシュメモリデバイス(例えば、カード、スティック、キードライブ)、CD-ROM(Compact Disc-ROM)、レジスタ、リムーバブルディスク、ハードディスク、フロッピー(登録商標)ディスク、磁気ストリップ、データベース、サーバその他の適切な記憶媒体である。また、プログラムは、電気通信回線を介してネットワークから送信されてもよい。また、プログラムは、電気通信回線を介して通信網から送信されてもよい。
(2)上述した各実施形態の各々は、LTE(Long Term Evolution)、LTE-A(LTE-Advanced)、SUPER 3G、IMT-Advanced、4G、5G、FRA(Future Radio Access)、W-CDMA(登録商標)、GSM(登録商標)、CDMA2000、UMB(Ultra Mobile Broadband)、IEEE 802.11(Wi-Fi)、IEEE 802.16(WiMAX)、IEEE 802.20、UWB(Ultra-WideBand)、Bluetooth(登録商標)、その他の適切なシステムを利用するシステム及び/又はこれらに基づいて拡張された次世代システムに適用されてもよい。
(3)上述した実施形態において、説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。
(4)上述した実施形態において、入出力された情報等は特定の場所(例えば、メモリ)に保存されてもよいし、管理テーブルを用いて管理してもよい。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。
(5)上述した実施形態において、判定は、1ビットで表される値(0か1か)によって行われてもよいし、真偽値(Boolean:true又はfalse)によって行われてもよいし、数値の比較(例えば、所定の値との比較)によって行われてもよい。
(6)上述した実施形態において例示した処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本開示において説明した方法については、例示的な順序を用いて様々なステップの要素を提示しており、提示した特定の順序に限定されない。
(7)図3に例示された各機能は、ハードウェア及びソフトウェアの少なくとも一方の任意の組み合わせによって実現される。また、各機能ブロックの実現方法は特に限定されない。すなわち、各機能ブロックは、物理的又は論理的に結合した1つの装置を用いて実現されてもよいし、物理的又は論理的に分離した2つ以上の装置を直接的又は間接的に(例えば、有線、無線などを用いて)接続し、これら複数の装置を用いて実現されてもよい。機能ブロックは、上記1つの装置又は上記複数の装置にソフトウェアを組み合わせて実現されてもよい。
(8)上述した実施形態で例示したプログラムは、ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。
また、ソフトウェア、命令、情報などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、有線技術(同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線(DSL:Digital Subscriber Line)など)及び無線技術(赤外線、マイクロ波など)の少なくとも一方を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び無線技術の少なくとも一方は、伝送媒体の定義内に含まれる。
(9)本開示において説明した情報、パラメータなどは、絶対値を用いて表されてもよいし、所定の値からの相対値を用いて表されてもよいし、対応する別の情報を用いて表されてもよい。
(10)上述した実施形態において、「接続された(connected)」、「結合された(coupled)」という用語、又はこれらのあらゆる変形は、2又はそれ以上の要素間の直接的又は間接的なあらゆる接続又は結合を意味し、互いに「接続」又は「結合」された2つの要素間に1又はそれ以上の中間要素が存在することを含むことができる。要素間の結合又は接続は、物理的なものであっても、論理的なものであっても、或いはこれらの組み合わせであってもよい。例えば、「接続」は「アクセス」で読み替えられてもよい。本開示で使用する場合、2つの要素は、1又はそれ以上の電線、ケーブル及びプリント電気接続の少なくとも一つを用いて、並びにいくつかの非限定的かつ非包括的な例として、無線周波数領域、マイクロ波領域及び光(可視及び不可視の両方)領域の波長を有する電磁エネルギーなどを用いて、互いに「接続」又は「結合」されると考えることができる。
(11)上述した実施形態において、「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。
(12)本開示で使用する「判断(determining)」、「決定(determining)」という用語は、多種多様な動作を包含する場合がある。「判断」、「決定」は、例えば、判定(judging)、計算(calculating)、算出(computing)、処理(processing)、導出(deriving)、調査(investigating)、探索(looking up、search、inquiry)(例えば、テーブル、データベース又は別のデータ構造での探索)、確認(ascertaining)した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、受信(receiving)(例えば、情報を受信すること)、送信(transmitting)(例えば、情報を送信すること)、入力(input)、出力(output)、アクセス(accessing)(例えば、メモリ中のデータにアクセスすること)した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、解決(resolving)、選択(selecting)、選定(choosing)、確立(establishing)、比較(comparing)などした事を「判断」「決定」したとみなす事を含み得る。つまり、「判断」「決定」は、何らかの動作を「判断」「決定」したとみなす事を含み得る。また、「判断(決定)」は、「想定する(assuming)」、「期待する(expecting)」、「みなす(considering)」などで読み替えられてもよい。
(13)上述した実施形態において、「含む(include)」、「含んでいる(including)」及びそれらの変形が使用されている場合、これらの用語は、用語「備える(comprising)」と同様に、包括的であることが意図される。さらに、本開示において使用されている用語「又は(or)」は、排他的論理和ではないことが意図される。
(14)本開示において、例えば、英語でのa, an及びtheのように、翻訳により冠詞が追加された場合、本開示は、これらの冠詞の後に続く名詞が複数形であることを含んでもよい。
(15)本開示において、「AとBが異なる」という用語は、「AとBが互いに異なる」ことを意味してもよい。なお、当該用語は、「AとBがそれぞれCと異なる」ことを意味してもよい。「離れる」、「結合される」等の用語も、「異なる」と同様に解釈されてもよい。
(16)本開示において説明した各態様/実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知(例えば、「Xであること」の通知)は、明示的に行うものに限られず、暗黙的(例えば、当該所定の情報の通知を行わない)ことによって行われてもよい。
以上、本開示について詳細に説明したが、当業者にとっては、本開示が本開示中に説明した各実施形態に限定されるものではないということは明らかである。本開示は、請求の範囲の記載により定まる本開示の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。従って、本開示の記載は、例示説明を目的とするものであり、本開示に対して何ら制限的な意味を有するものではない。
1…画像処理装置、10…処理装置、11…取得部、12…第1生成部、13…第2生成部、14…表示制御部、20…記憶装置、30…通信装置、40…表示装置。

Claims (7)

  1. ユーザの存在する場所に関する場所データ及び前記ユーザの周りの状況に関する状況データの少なくとも一方を含む環境データとユーザの動作に関する動作データとを生成する第1生成部と、
    前記場所データ及び前記状況データのうち少なくとも一方と、前記動作データとに基づいて、前記ユーザに関する危険の程度を示す危険度データを生成する第2生成部と、
    前記危険度データに基づいて、前記ユーザの頭部に装着されるヘッドマウントディスプレイが有する表示装置における画像の表示を制御する表示制御部と、
    を備え、
    前記第1生成部は、前記場所データ、前記状況データ、及び前記動作データを生成し、
    前記第2生成部は、前記ユーザの存在する場所が不明、且つ前記ユーザの周りの状況が既知である場合、前記状況データと前記動作データとに基づいて、前記危険度データを生成し、前記ユーザの周りの状況が不明、且つ前記ユーザの場所が既知である場合、前記場所データと前記動作データとに基づいて、前記危険度データを生成する、
    処理装置。
  2. ユーザの存在する場所に関する場所データ及び前記ユーザの周りの状況に関する状況データの少なくとも一方を含む環境データとユーザの動作に関する動作データとを生成する第1生成部と、
    前記場所データ及び前記状況データのうち少なくとも一方と、前記動作データとに基づいて、前記ユーザに関する危険の程度を示す危険度データを生成する第2生成部と、
    前記危険度データに基づいて、前記ユーザの頭部に装着されるヘッドマウントディスプレイが有する表示装置における画像の表示を制御する表示制御部と、
    を備え、
    前記第1生成部は、前記場所データ、前記状況データ、及び前記動作データを生成し、
    前記第2生成部は、前記場所データの示すユーザの場所が所定の場所である場合、前記動作データと前記場所データとに基づいて前記危険度データを生成し、前記場所データの示す前記ユーザの場所が前記所定の場所でない場合、前記動作データと前記状況データとに基づいて前記危険度データを生成する、
    処理装置。
  3. 前記表示制御部は、前記危険度データに基づいて、前記表示装置に前記画像を表示させるか否かを制御する請求項1又は2に記載の処理装置。
  4. 近距離無線で通信する通信装置によって受信され、送信元の装置を識別する識別子を取得する取得部を備え、
    前記第1生成部は、前記識別子の数が所定数以上であるか否かを判定し、判定結果が肯定である場合に、前記ユーザが雑踏の中にいることを示す状況データを前記状況データとして生成する、
    請求項1から3までのうちいずれか1項に記載の処理装置。
  5. 前記第1生成部は、前記識別子に基づいて、前記ユーザの存在する場所を特定する、
    請求項4に記載の処理装置。
  6. 前記表示制御部は、第1時間以上継続して前記危険度データの示す危険の程度が基準値以上となる場合、前記表示装置を、画像を表示する表示状態から画像を非表示とする非表示状態へ遷移させ、前記危険度データの示す危険の程度が前記基準値未満の状態が前記第1時間よりも短い第2時間以上継続する場合、前記表示装置を前記非表示状態から前記表示状態へ遷移させる、
    請求項1から5までのうちいずれか1項に記載の処理装置。
  7. 前記表示制御部は、前記危険度データの示す危険度が第1基準値未満の値から前記第1基準値以上の値に変化する場合、前記表示装置を、画像を表示する表示状態から画像を非表示とする非表示状態へ遷移させ、前記危険度データの示す危険度が前記第1基準値より小さい第2基準値以上の値から前記第2基準値未満の値に変化する場合、前記表示装置を前記非表示状態から前記表示状態へ遷移させる、
    請求項1から5までのうちいずれか1項に記載の処理装置。
JP2021519504A 2019-05-15 2020-05-15 処理装置 Active JP7316354B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019091898 2019-05-15
JP2019091898 2019-05-15
PCT/JP2020/019460 WO2020230892A1 (ja) 2019-05-15 2020-05-15 処理装置

Publications (2)

Publication Number Publication Date
JPWO2020230892A1 JPWO2020230892A1 (ja) 2020-11-19
JP7316354B2 true JP7316354B2 (ja) 2023-07-27

Family

ID=73288890

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021519504A Active JP7316354B2 (ja) 2019-05-15 2020-05-15 処理装置

Country Status (2)

Country Link
JP (1) JP7316354B2 (ja)
WO (1) WO2020230892A1 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005252735A (ja) 2004-03-04 2005-09-15 Olympus Corp 危険防止機能付き頭部装着型表示装置
JP2009206679A (ja) 2008-02-27 2009-09-10 Mitsubishi Electric Corp サービス実行装置及びサービス実行プログラム及び記録媒体
JP2012155655A (ja) 2011-01-28 2012-08-16 Sony Corp 情報処理装置、報知方法及びプログラム
US20140043213A1 (en) 2012-08-07 2014-02-13 Industry-University Cooperation Foundation Hanyang University Wearable display device having a detection function
WO2014038323A1 (ja) 2012-09-06 2014-03-13 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
WO2017104227A1 (ja) 2015-12-18 2017-06-22 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
WO2018109925A1 (ja) 2016-12-16 2018-06-21 三菱電機株式会社 車両ドア衝突防止装置および車両ドア衝突防止方法
JP2018143413A (ja) 2017-03-03 2018-09-20 セイコーエプソン株式会社 モニタリング装置、モニタリングシステム、モニタリング方法、モニタリングプログラム、記憶媒体、モニタリングサーバー及び電子機器

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005252735A (ja) 2004-03-04 2005-09-15 Olympus Corp 危険防止機能付き頭部装着型表示装置
JP2009206679A (ja) 2008-02-27 2009-09-10 Mitsubishi Electric Corp サービス実行装置及びサービス実行プログラム及び記録媒体
JP2012155655A (ja) 2011-01-28 2012-08-16 Sony Corp 情報処理装置、報知方法及びプログラム
US20140043213A1 (en) 2012-08-07 2014-02-13 Industry-University Cooperation Foundation Hanyang University Wearable display device having a detection function
WO2014038323A1 (ja) 2012-09-06 2014-03-13 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
WO2017104227A1 (ja) 2015-12-18 2017-06-22 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
WO2018109925A1 (ja) 2016-12-16 2018-06-21 三菱電機株式会社 車両ドア衝突防止装置および車両ドア衝突防止方法
JP2018143413A (ja) 2017-03-03 2018-09-20 セイコーエプソン株式会社 モニタリング装置、モニタリングシステム、モニタリング方法、モニタリングプログラム、記憶媒体、モニタリングサーバー及び電子機器

Also Published As

Publication number Publication date
WO2020230892A1 (ja) 2020-11-19
JPWO2020230892A1 (ja) 2020-11-19

Similar Documents

Publication Publication Date Title
US9235051B2 (en) Multi-space connected virtual data objects
US9395543B2 (en) Wearable behavior-based vision system
JP6669067B2 (ja) 表示制御装置、表示制御方法およびプログラム
US8717198B2 (en) Communication connecting apparatus and method for detecting mobile units in a vehicle
KR102222250B1 (ko) 참조 지점을 이용한 경로 안내 제공 방법 및 그 장치
KR102025544B1 (ko) 착용식 비디오 장치 및 이를 구비하는 비디오 시스템
KR20160145976A (ko) 영상 공유 방법 및 이를 수행하는 전자 장치
JP6263098B2 (ja) 仮想音源を提供情報位置に配置する携帯端末、音声提示プログラム及び音声提示方法
CN104380237A (zh) 用于头戴式显示器的反应性用户接口
CN106338828A (zh) 车载增强现实系统、方法和设备
CN106164838B (zh) 信息显示方法和信息显示终端
JP6853152B2 (ja) 情報処理装置、端末装置および情報処理システム
KR20160045342A (ko) 웨어러블 기기를 이용한 차량 제어장치 및 방법
US20170262074A1 (en) Display control system and method
JP2019114078A (ja) 情報処理装置、情報処理方法及びプログラム
JP7316354B2 (ja) 処理装置
US20200301144A1 (en) Display device, display control method, and display system
JP2016096513A (ja) 情報処理システム、情報処理方法及びプログラム
WO2023084945A1 (ja) 出力制御装置
CN111344776B (zh) 信息处理装置、信息处理方法和程序
WO2023085302A1 (ja) 情報処理装置
WO2023079875A1 (ja) 情報処理装置
US20220309754A1 (en) Information processing device, information processing method, and program
WO2023145265A1 (ja) メッセージ送信装置及びメッセージ受信装置
WO2022123922A1 (ja) 情報処理システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211108

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221018

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221219

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230214

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230620

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230714

R150 Certificate of patent or registration of utility model

Ref document number: 7316354

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150