JP7447474B2 - 情報処理装置及びプログラム - Google Patents

情報処理装置及びプログラム Download PDF

Info

Publication number
JP7447474B2
JP7447474B2 JP2019229723A JP2019229723A JP7447474B2 JP 7447474 B2 JP7447474 B2 JP 7447474B2 JP 2019229723 A JP2019229723 A JP 2019229723A JP 2019229723 A JP2019229723 A JP 2019229723A JP 7447474 B2 JP7447474 B2 JP 7447474B2
Authority
JP
Japan
Prior art keywords
image
aerial image
movement
person
size
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019229723A
Other languages
English (en)
Other versions
JP2021099544A (ja
Inventor
賢吾 得地
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Priority to JP2019229723A priority Critical patent/JP7447474B2/ja
Priority to US16/890,617 priority patent/US20210191577A1/en
Publication of JP2021099544A publication Critical patent/JP2021099544A/ja
Application granted granted Critical
Publication of JP7447474B2 publication Critical patent/JP7447474B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/368Image reproducers using viewer tracking for two or more viewers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/398Synchronisation thereof; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/346Image reproducers using prisms or semi-transparent mirrors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/363Image reproducers using image projection screens
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/388Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume

Description

本発明は、情報処理装置及びプログラムに関する。
現在、電子メール等の受信は、コンピュータの画面の周辺部に表示されるポップアップウインドウ等で表示される。なお、ポップアップウインドウは、予め定めた時間が経過すると画面上から消える。
特開2007-044241号公報
現在、新たなユーザインタフェースとして、空気中に像を形成する技術が提案されている。今後、空気中に形成される像を活用したユーザインタフェースの普及に伴い、空気中に形成される像の特性を活用した文書データの送受信を通知する技術が求められると考えられる。
本発明は、空気中に形成される像が一様に表示されて移動する場合に比して、多様な表現を可能にすることを目的とする。
請求項1に記載の発明は、プロセッサを有し、前記プロセッサは、空気中に形成される像の移動を表す場合、当該像を、当該像を観察する人に近づくほど大きいサイズで表現し、当該像を観察する人から遠ざかるほど小さいサイズで表現し、前記像の移動が受信を表す場合、前記プロセッサは、当該像のサイズを拡大させながら、当該像を人の方向に移動させ、前記プロセッサは、前記像を観察する人が実在する位置と、当該像に対応する送信元が実在する位置との関係を、当該像の移動の経路で表現し、前記プロセッサは、前記像に対応する送信元が当該像を観察する人の背後側に位置する場合、前方から受信されるときとは異なる色調で当該像を表現する、情報処理装置である。
請求項2に記載の発明は、プロセッサを有し、前記プロセッサは、空気中に形成される像の移動を表す場合、当該像を、当該像を観察する人に近づくほど大きいサイズで表現し、当該像を観察する人から遠ざかるほど小さいサイズで表現し、前記像の移動が送信を表す場合、前記プロセッサは、当該像のサイズを縮小させながら、当該像を人から遠ざかる方向に移動させ、前記プロセッサは、前記像を観察する人が実在する位置と、当該像に対応する受信先が実在する位置との関係を、当該像の移動の経路で表現し、前記プロセッサは、前記像に対応する受信先が当該像を観察する人の背後側に位置する場合、前方側に位置するときとは異なる色調で当該像を表現する、情報処理装置である。
請求項3に記載の発明は、プロセッサを有し、前記プロセッサは、空気中に形成される像の移動を表す場合、当該像を、当該像を観察する人に近づくほど大きいサイズで表現し、当該像を観察する人から遠ざかるほど小さいサイズで表現し、前記像が形成される空間の周囲に複数の人が存在する場合、各人に対応する当該像の移動中のサイズを対応する人との位置関係に応じて表現する情報処理装置である。
請求項4に記載の発明は、コンピュータに、空気中に形成される像の移動を表す場合、当該像を、当該像を観察する人に近づくほど大きいサイズで表現し、当該像を観察する人から遠ざかるほど小さいサイズで表現させる機能と、前記像の移動が受信を表す場合、当該像のサイズを拡大させながら、当該像を人の方向に移動させる機能と、前記像を観察する人が実在する位置と、当該像に対応する送信元が実在する位置との関係を、当該像の移動の経路で表現する機能と、前記像に対応する送信元が当該像を観察する人の背後側に位置する場合、前方から受信されるときとは異なる色調で当該像を表現する機能と、を実現させるためのプログラムである。
請求項5に記載の発明は、コンピュータに、空気中に形成される像の移動を表す場合、当該像を、当該像を観察する人に近づくほど大きいサイズで表現し、当該像を観察する人から遠ざかるほど小さいサイズで表現させる機能と、前記像の移動が送信を表す場合当該像のサイズを縮小させながら、当該像を人から遠ざかる方向に移動させる機能と、前記像を観察する人が実在する位置と、当該像に対応する受信先が実在する位置との関係を、当該像の移動の経路で表現する機能と、前記像に対応する受信先が当該像を観察する人の背後側に位置する場合、前方側に位置するときとは異なる色調で当該像を表現する機能と、を実現させるためのプログラムである。
請求項6に記載の発明は、コンピュータに、空気中に形成される像の移動を表す場合、当該像を、当該像を観察する人に近づくほど大きいサイズで表現し、当該像を観察する人から遠ざかるほど小さいサイズで表現させる機能と、前記像が形成される空間の周囲に複数の人が存在する場合、各人に対応する当該像の移動中のサイズを対応する人との位置関係に応じて表現する機能と、を実現させるためのプログラムである。
請求項1記載の発明によれば、背後側からの受信を実感させることができる。
請求項2記載の発明によれば、背後側への送信を実感させることができる。
請求項3記載の発明によれば、複数人に対する送受信の向きを容易に実感できる。
請求項4記載の発明によれば、背後側からの受信を実感させることができる。
請求項5記載の発明によれば、背後側への送信を実感させることができる。
請求項6記載の発明によれば、複数人に対する送受信の向きを容易に実感できる。
実施の形態1で使用する情報処理システムの構成例を示す図である。 メッセージ等の送受信を表す空中像#1の移動を実現する機能を説明するフローチャートである。 移動中の空中像#1に対する操作によりメッセージの送受信の中止を実現する機能を説明するフローチャートである。 空中像#2の周囲に位置するAさん宛のメッセージ等が届いた場合における空中像#1の移動を説明する図である。(A)は時点T1に形成される空中像#1であり、(B)は時点T2に形成される空中像#1であり、(C)は時点T3に形成される空中像#1である。 空中像#1が近づいてくる様子をサイズが異なる複数の空中像#1を用いて表現する例を説明する図である。(A)は時点T1に形成される空中像#1であり、(B)は時点T2に形成される空中像#1であり、(C)は時点T3に形成される空中像#1である。 実空間における送信元と受信先の位置の関係を空中像#1の移動に反映させる例を説明する図である。 実空間における送信元と受信先の位置の関係を空中像#1の移動に反映させる他の例を説明する図である。 実空間における送信元と受信先の位置の関係を空中像#1の移動に反映させる他の例を説明する図である。 空中像#1の移動を妨げる動きが検出される場合を説明する図である。(A)は空中像#1の移動を妨げる手の動きを示し、(B)は空中像#1の移動を妨げる手の動きを検出した後を示す。 受信先が異なる2つの空中像#1A及び1Bが形成される例を説明する図である。 空中像#2の周囲に位置するAさんからメッセージ等が送信される場合における空中像#1の移動を説明する図である。(A)は時点T1に形成される空中像#1であり、(B)は時点T2に形成される空中像#1であり、(C)は時点T3に形成される空中像#1である。 空中像#1が遠ざかっていく様子をサイズが異なる複数の空中像#1を用いて表現する例を説明する図である。(A)は時点T1に形成される空中像#1であり、(B)は時点T2に形成される空中像#1であり、(C)は時点T3に形成される空中像#1である。 実空間における送信元と送信先の位置の関係を空中像#1の移動に反映させる例を説明する図である。 実空間における送信元と送信先の位置の関係を空中像#1の移動に反映させる他の例を説明する図である。 実空間における送信元と送信先の位置の関係を空中像#1の移動に反映させる他の例を説明する図である。 空中像#1の移動を妨げる動きが検出される場合を説明する図である。(A)は空中像#1の移動を妨げる手の動きを示し、(B)は空中像#1の移動を妨げる手の動きを検出した後を示す。 送信元が異なる2つの空中像#1C及び1Dが形成される例を説明する図である。 空中像#1に対する指標としての空中像#2を形成しない例を説明する図である。(A)はメッセージ等の受信を表現する空中像#1の移動を示し、(B)はメッセージ等の送信を表現する空中像#1の移動を示す。 空中像#1の形状がメッセージ等のデータ量の大きさを表す例を説明する図である。(A)はデータ量が小さい場合の形状を示し、(B)はデータ量が大きい場合の形状を示す。
以下、図面を参照して、本発明の実施の形態を説明する。
<実施の形態>
<システム構成>
図1は、実施の形態1で使用する情報処理システム1の構成例を示す図である。
図1に示す情報処理システム1は、空気中に浮かび上がるように像(以下「空中像」ともいう)を形成する空中像形成装置10と、空中像形成装置10等を制御する制御装置20と、空中像とその周辺の空間を撮像の範囲とするカメラ30とを有している。
図1の場合、空気中には、2種類の空中像#1及び#2が形成されている。
本実施の形態の場合、空中像#1は、通信の対象であるデータ(以下「通信データ」という)の存在の表現に用いられる。換言すると、空中像#1は、サービスの利用者である人に対して、通信データの送受信を視覚的に提示する目的で使用される。通信データには、例えばメッセージ、データファイル、制御データが含まれる。
メッセージには、メールアドレスを宛先に用いるメッセージと、電話番号を宛先に用いるメッセージが含まれる。データファイルには、コンテンツデータの他、プログラムデータも含まれる。コンテンツデータには、例えば動画像データ、静止画像データ、オーディオデータ、ウェブデータ、制御データ、文書データが含まれる。
本実施の形態の場合、空中像#1が形成される位置は、空気中を移動する。空中像#1が移動する方向は、通信の方向を表している。従って、通信相手が同じでも、受信の場合と送信の場合とでは、空中像#1が移動する方向が異なる。空中像#1は、空気中を移動する像の一例である。
本実施の形態の場合、空中像#2の外周面は、空中像#1が移動する範囲の外縁を表している。図1の場合、空中像#2は立方体である。もっとも、空中像#2の形状は、立方体以外の形状でも構わない。例えば空中像#2は直方体や球体でもよい。
本実施の形態の場合、空中像#2は、空気中の特定の位置に静止した状態で形成される。空中像#2が静止した状態で空気中に形成されていることで、空中像#2の内側の空間を移動する空中像#1の移動の確認が容易になる。もっとも、空中像#2は、空中像#1に対する指標として空気中に形成されるので、空中像#1が移動する範囲の外縁を規定する必要はない。すなわち、空中像#1は、空中像#2の内側から空中像#2の外側に出るように移動してもよく、反対に、空中像#2の外側から空中像#2の内側に入るように移動してもよい。空中像#2は、他の像の一例である。
なお、空中像#2は、立方体の表面を規定する像に限らず、立方体の表面とその内側の各画素により表現されてもよい。換言すると、空中像は、ボクセルデータにより表現されてもよい。この場合、空中像#1は、空中像#2の部分画素を構成してもよい。
図1の場合、空中像#1及び#2の両方が空気中に形成されているが、空中像#1が形成されるのは通信が検知された場合に限られる。このため、通信が検知されていない場合には、空中像#2だけが空気中に形成されてもよい。
なお、空中像#2も、空中像#1と同じく、通信が検知された場合に限定して空気中に形成してもよい。空中像#1及び#2の形成は、制御装置20により制御される。
本実施の形態における空中像形成装置10は、空中像#1及び#2を空気中に直接形成する装置であり、既に様々な方法が提案され、一部は実用化されている。
例えば空中像#1及び#2の形成にハーフミラーを用いる方法、ビームスプリッタを用いる方法、微小なミラーアレイを用いる方法、微笑なレンズアレイを用いる方法、プラズマ発光を用いる方法等がある。これらの方式によって生成される空中像#1及び#2は、通り抜けることが可能である。
なお、通り抜けができない空中像#1及び#2を形成する空中像形成装置10には、現実の空間に存在するスクリーンに像を投影するプロジェクタがある。この他、空中像形成装置10には、発光素子のアレイを実空間で高速に移動させ、残像現象を用いて空中像#1及び#2を視認させる装置もある。
制御装置20は、プログラムの実行を通じて空中像形成装置10による空中像#1及び#2の形成を制御するプロセッサ21と、プログラムや各種のデータを記憶する記憶装置22と、外部との通信を実現するネットワークIF(=InterFace)23と、これらを接続するバスその他の信号線24とを有している。制御装置20は、情報処理装置の一例である。
プロセッサ21は、例えばCPUで構成される。記憶装置22は、例えばBIOS(=Basic Input Output System)等が記憶されたROM(=Read Only Memory)と、ワークエリアとして用いられるRAM(=Random Access Memory)と、基本プログラムやアプリケーションプログラム等が記憶されたハードディスク装置とで構成される。
もっとも、ROMやRAMがプロセッサ21の一部に含まれることを妨げない。プロセッサ21と記憶装置22は、コンピュータを構成する。
カメラ30は、空中像#1及び#2とその周辺を撮像の範囲とする。このため、空中像#1及び#2の周辺に人がいる場合、カメラ30で撮像された画像に人が含まれることになる。なお、図1の場合、カメラ30は1台であるが、撮像の方向が異なる複数のカメラ30を配置してもよい。
カメラ30で撮像された画像は、画像データとして制御装置20に出力される。本実施の形態の場合、プロセッサ21は、画像データの解析により、空中像#1及び#2が形成される空間と周囲に位置する人の位置に関する関係を特定する。なお、画像データに人の顔が含まれる場合、プロセッサ21は、画像データに含まれる顔を解析し、空中像#1及び#2の周囲に位置する人を特定する。
なお、空中像#1及び#2の周辺に位置する人の特定は、画像データを用いる場合に限らない。例えば制御装置20が、個人が使用するコンピュータ、スマートフォン等の情報端末の場合、ログインされているアカウントの情報から個人を特定することも可能である。また、不図示の登録画面を通じ、空中像#1及び#2が形成される空間の周囲に位置する人の情報と、空中像#2に対する位置関係を登録してもよい。
<空中像#1の形成処理>
図2は、メッセージ等の送受信を表す空中像#1の移動を実現する機能を説明するフローチャートである。図2に示す処理は、プロセッサ21(図1参照)によるプログラムの実行により実現される。
まず、プロセッサ21は、空中像#2が形成される空間の周囲にいる人と位置を特定する(ステップ1)。空間内における位置の特定には、例えばカメラ30について定義されている座標系が使用される。本実施の形態の場合、空中像#2が形成される空間内の位置は、カメラ30の座標系に関連付けられている。座標系は、プロセッサ21で管理されている。本実施の形態の場合、プロセッサ21は、空中像#2が形成されている空間を撮像した画像内から人の存在を抽出する。また、プロセッサ21は、可能である場合、顔認証を実行し、抽出された人を特定する。
次に、プロセッサ21は、該当する人に対するメッセージ等の受信があったか否かを判定する(ステップ2)。本実施の形態におけるプロセッサ21は、メールサーバと連携しており、空中像#2の周囲にいると認識された人を宛先とするメールが受信されているか否かを判定する。本実施の形態の場合、空中像の周囲にいる人は、いずれの人もメールサーバとの連携を許可しているものとする。メールサーバとの連携が許可されていない人の場合、ステップ2以降の処理は実行さない。メールサーバとの連携が許可されていない人には、個人を認証できない人も含まれる。
ステップ2で肯定結果が得られた場合、プロセッサ21は、該当するメールの送信元の位置を特定する(ステップ3)。プロセッサ21は、該当するメールが通過したルータ等のIP(=Internet Protocol)アドレスを使用し、メールの送信元である端末が存在する実空間内の地域や住所地を特定する。
次に、プロセッサ21は、送信元と受信先との位置の関係を特定する(ステップ4)。受信先の位置には、空中像#2が形成される地域としての位置と、受信先となる個人の空中像#2に対する位置の関係が含まれる。受信先となる個人の位置は、例えば空中像#2を構成する側面のうちどの方向の面に位置するかによって特定される。
送信元と受信先との位置の関係が特定されると、プロセッサ21は、メッセージ等の受信を、メッセージ等を表す空中像#1の移動とサイズの変化により提示する(ステップ5)。ここでの移動は、送信元と受信先の位置の関係を表現する。
例えば受信先の人が空中像#2の手前側、送信元の人が空中像#2の奥側に位置する場合、メールを表すアイコンに対応する空中像#1は、空中像#2の奥側から手前側に直線的に移動する。
例えば受信先の人が空中像#2の手前側、送信元の人が受信先の人の右手側に位置する場合、メールを表すアイコンに対応する空中像#1は、空中像#2の右手側の面から手前側に曲線を描きながら移動する。なお、移動の軌跡は、曲線に限らず直線でもよい。
例えば受信先の人が空中像#2の手前側、送信元の人が受信先の人の左手側に位置する場合、メールを表すアイコンに対応する空中像#1は、空中像#2の左手側の面から手前側に曲線を描きながら移動する。なお、移動の軌跡は、曲線に限らず直線でもよい。
例えば受信先の人が空中像#2の手前側、送信元の人が受信先の人の背面側に位置する場合、メールを表すアイコンに対応する空中像#1は、空中像#2の手前側から奥側に進み、Uターンして手前側に移動する。
なお、移動の軌跡は、U字形状に限らない。例えば空中像#1の形態を、送信元の人が受信先の人の前方に位置する場合とは異なる形態で表した状態で、空中像#2の奥側から直線的に手前側に移動させてもよい。この場合の移動の軌跡は、送信元の人が受信先の人の前方に位置する場合と同じであるが、空中像#1の形態が異なるので、受信先の人の背面側からのメールであることの判別が可能である。例えば送信元の人が受信先の人の前方に位置する場合の空中像#1の色が青色だとすると、送信元の人が受信先の人の背面に位置する場合の空中像#1の色調を補色である橙色を使用する。もっとも、受信先の人の前方側の位置と背面側の位置の表現は補色に限らない。例えば青と赤のように社会通念上の反対色を用いてもよいし、明度の違いを用いてもよい。
本実施の形態の場合、空中像#1の移動は、送信元と受信先との位置の関係が遠近法で表現される。本実施の形態における空中像#1の表現は、厳密な意味での遠近法である必要はなく、受信先に対する遠近を強調した表現でよい。本実施の形態における空中像#1の移動は、メールの受信を人に知覚させることが目的であるためである。
遠近の表現は、空中像#1が空気中に形成される位置と受信先である人との物理的な距離を基準としてもよく、空中像#1の形成が開始される位置から受信先である人の近傍に至るまでの経路上の距離を基準としてもよい。本実施の形態の場合、この距離上の位置に応じ、空中像#1のサイズが変化する。このため、空中像#1の形成が開始される位置のサイズが最も小さく、受信先である人に近づくほど空中像#1は大きく表現される。
従って、メールの送信元の人が受信先である人の背後に位置し、空中像#1の移動の軌跡がU字を描く場合、空中像#1の形成が開始される位置の空中像#1のサイズが最も小さくなる。
なお、遠近法で表現される空中像の対象は、空中像で表現されている画像全体ではなく一部の部分に対して適用するようにしてよい。また、遠近法から通常の表示方法の切り替えは、ユーザの指示によって変えられる。通常の表示方法とは、非遠近法により表現される空中像が空中内をそのまま移動する方法をいう。表示の変更を受け付けた場合、遠近法又は通常の表示による空中像の移動が途中まで進んでいたとしても、ユーザが変更を指示した時点から、変更後の表示方法による空中像が進捗に応じた態様で空中に形成される。
空中像#1は、例えば各時点に1つだけ形成される。もっとも、空中像#1の移動の軌跡の確認が可能なように、空中像#1の移動の軌跡を示す線の像を追加で形成させてもよい。
また、各時点に対応する位置とサイズの空中像#1を空気中に残すことで、空中像#1の移動を表現してもよい。この場合、サイズが異なる複数の空中像#1が空気中に確認され、空中像#1が近づいてくる様子の確認が容易になる。
一方、ステップ2で否定結果が得られた場合、プロセッサ21は、該当する人からのメッセージ等の送信があったか否かを判定する(ステップ6)。プロセッサ21は、メールサーバとの連携を通じ、空中像#2の周囲にいると認識された人を送信元とするメールが送信されたか否かを判定する。
ステップ6で否定結果が得られた場合、プロセッサ21は、ステップ1に戻る。メール等の受信の場合と同様、メールサーバとの連携が許可されていない人については、ステップ6で否定結果を得てステップ1に戻る。
一方、ステップ6で肯定結果が得られた場合、プロセッサ21は、該当するメールの送信先の位置を特定する(ステップ7)。プロセッサ21は、メールアドレスが通過したルータ等のIP(=Internet Protocol)アドレスの情報をネットワーク上から取得し、メールの送信先である端末が存在する実空間内の地域や住所地を特定する。
次に、プロセッサ21は、送信元と送信先との位置の関係を特定する(ステップ8)。送信元の位置には、空中像#2が形成される地域としての位置と、送信元となる個人の空中像#2に対する位置の関係が含まれる。送信元となる個人の位置は、受信先となる個人の位置と同様に特定される。
送信元と受信先との位置の関係が特定されると、プロセッサ21は、メッセージ等の送信を、メッセージ等を表す空中像#1の移動とサイズの変化により提示する(ステップ9)。ここでの移動は、送信元と送信先の位置の関係を表現する。
例えば送信元の人が空中像#2の手前側、送信先の人が空中像#2の奥側に位置する場合、メールを表すアイコンに対応する空中像#1は、空中像#2の手前側から奥側に直線的に移動する。
例えば送信元の人が空中像#2の手前側、送信先の人が送信元の人の右手側に位置する場合、メールを表すアイコンに対応する空中像#1は、空中像#2の手前側の面から右手側に曲線を描きながら移動する。なお、移動の軌跡は、曲線に限らず直線でもよい。
例えば送信元の人が空中像#2の手前側、送信先の人が送信元の人の左手側に位置する場合、メールを表すアイコンに対応する空中像#1は、空中像#2の手前側の面から左手側の曲線を描きながら移動する。なお、移動の軌跡は、曲線に限らず直線でもよい。
例えば送信元の人が空中像#2の手前側、送信先の人が送信元の人の背面側に位置する場合、メールを表すアイコンに対応する空中像#1は、空中像#2の手前側から奥側に進み、Uターンして手前側に移動する。
なお、移動の軌跡は、U字形状に限らない。例えば空中像#1の形態を、送信先の人が送信元の人の前方に位置する場合とは異なる形態で表した状態で、空中像#2の手前側から直線的に奥側に移動させてもよい。この場合の移動の軌跡は、送信先の人が送信元の人の前方に位置する場合と同じであるが、空中像#1の形態が異なるので、送信元の人の背面側へのメールであることの判別が可能である。例えば送信先の人が送信元の人の前方に位置する場合の空中像#1の色が青色だとすると、送信先の人が送信元の人の背面に位置する場合の空中像#1の色調を補色である橙色を使用する。もっとも、送信元の人の前方側の位置と背面側の位置の表現は補色に限らない。例えば青と赤のように社会通念上の反対色を用いてもよいし、明度の違いを用いてもよい。
本実施の形態の場合、メッセージ等の送信を表す空中像#1の移動も、送信元と送信先との位置の関係が遠近法で表現される。本実施の形態の場合も、空中像#1の表現は、厳密な意味での遠近法である必要はなく、受信先に対する遠近を強調した表現でよい。本実施の形態における空中像#1の移動は、メールの送信を人に知覚させることが目的であるためである。
また、遠近の表現も、空中像#1が空気中に形成される位置と受信先である人との物理的な距離を基準としてもよく、空中像#1の形成が開始される位置から受信先である人の近傍に至るまでの経路上の距離を基準としてもよい。本実施の形態の場合、この距離上の位置に応じ、空中像#1のサイズが変化する。このため、空中像#1の形成が開始される位置のサイズが最も大きく、送信先である人に近づくほど空中像#1は小さく表現される。
従って、メールの送信先の人が送信元である人の背後に位置し、空中像#1の移動の軌跡がU字を描く場合、空中像#1の形成が開始される時点における空中像#1のサイズが最も大きくなる。
メッセージ等の送信の場合も、空中像#1は、例えば各時点に1つだけ形成される。もっとも、空中像#1の移動の軌跡の確認が可能なように、空中像#1の移動の軌跡を示す線の像を追加で形成させてもよい。
また、各時点に対応する位置とサイズの空中像#1を空気中に残すことで、空中像#1の移動を表現してもよい。この場合、サイズが異なる複数の空中像#1が空気中に確認され、空中像#1が遠ざかっていく様子の確認が容易になる。
なお、図2に示す例では、メッセージ等の受信時には送信元の位置を特定し、送信元と受信先との位置の関係に応じて空中像#1の移動を制御しているが、送信元の位置を空中像#1の移動の制御に用いない手法を採用してもよい。この場合、空中像#1は、受信先である人から見て空中像#2の奥側から、サイズを拡大させながら直線的に近づいてくるように移動される。この制御の場合、受信先の人は、送信元と自身との位置の関係を空中像#1の移動の軌跡から知り得ないが、自身宛のメールの受信については視覚的に確認が可能である。
同様に、メッセージ等の送信時においても、受信先の位置を特定する処理を実行せず、送信先の位置を空中像#1の移動の制御に用いない手法を採用してもよい。この場合、空中像#1は、受信元である人から見て空中像#2の奥側に直線的に、サイズを縮小させながら遠ざかっていくように移動される。この制御の場合、送信元の人は、送信先と自身との位置の関係を空中像#1の移動の軌跡から知り得ないが、自身を起点とするメールの送信については視覚的に確認が可能である。
<移動中の空中像#1に対する操作>
図3は、移動中の空中像#1に対する操作によりメッセージの送受信の中止を実現する機能を説明するフローチャートである。図3に示す処理も、プロセッサ21(図1参照)によるプログラムの実行により実現される。図3に示す処理は、図2に示す処理とは独立に実行される。このため、プロセッサ21は、空中像#1の位置とサイズを制御中もカメラ30で撮像される画像の解析を継続する。
まず、プロセッサ21は、空中像#1の移動を妨げる物体の動きを検出したか否かを判定する(ステップ11)。移動を妨げる物体の動きは、カメラ30(図1参照)で撮像された画像の解析により検出される。例えば空中像#1の移動を遮る物体の出現は、空中像#1の移動を妨げる物体の動きとみなされる。また例えば空中像#1を手で掴む動きや手で叩き落とす動き等も空中像#1の移動を妨げる物体の動きとみなされる。
ここでの物体は任意であるが、例えば手を想定する。本実施の形態の場合、物体を問わず、空中像#1の移動を妨げる物体の動きであるか否かを判定しているが、予め定めた特定の物体だけを検出の対象としてもよい。例えば検出の対象を手に限定し、その他の物体が空中像#1の移動を遮っても、空中像#1の移動を妨げる物体の動きとはみなさないようにすることも可能である。この場合、検出の対象とする物体は、インターフェース画面を通じて事前に設定する。
なお、同一人に対応する複数の空中像#1が空気中に形成されている場合には、空中像#1毎に移動を妨げる物体の動きが検出される。もっとも、受信については移動を妨げる動きの検出を無効とし、送信については移動を妨げる動きの検出を有効としてもよい。
反対に、受信については移動を妨げる動きの検出を有効とし、送信については移動を妨げる動きの検出を無効としてもよい。この設定も、インターフェース画面を通じて設定する。
また、本実施の形態では、空中像#1の移動を妨げる物体の動きの実行者を問わないが、空中像#1の移動を妨げる物体の動きの実行者を、メッセージ等の受信先である人、又は、送信元である人に限定してもよい。この場合、対象者以外の人による空中像#1の移動を妨げる動きは無視される。
また、空中像#1の移動を妨げる物体の動きが有効と扱われるには、空中像#1に対応するメッセージ等と実行者とが一致することを条件としてもよい。この条件を用いれば、例えば受信先や送信元が異なる複数の空中像#1が同時に形成されている場合に、誤ったイベントの中止が回避される。例えばAさんに対応する空中像#1とBさんに対応する空中像#1とが同じ空間を移動している最中に、Aさんの手がBさんに対応する空中像#1の移動先を誤って横切った場合でも、イベントの中止がAさんの空中像#1に限定される。
また、同一人に対する複数の空中像#1のうちのいずれか1つに対して空中像#1の移動を妨げる物体の動きが検出されると、同一人に対応する全てのイベントの中止を可能にしてもよい。メッセージ等に対応する空中像#1の移動は短時間で行われるため、それらの全てを妨げることは困難の場合がある。しかし、前述した機能を採用すれば、余裕を持ってイベントの中止を指示することが可能になる。
ステップ11で否定結果が得られている間、プロセッサ21は、ステップ11の判定を繰り返す。
一方、ステップ11で肯定結果が得られると、プロセッサ21は、空中像#1に対応するメッセージ等に関するイベントを中止する(ステップ12)。ここでのイベントは、メッセージ等の受信に伴う空中像#1の空中内での移動を実現する処理と、メッセージ等の送信に伴う空中像#1の空中内での移動を実現する処理の両方を含む。すなわち、プロセッサ21は、ステップ2~5又はステップ6~9の処理を中止する。これらの処理の中止により、空中像#2の内側における空中像#1の移動だけでなく、空中像#1の形成そのものも中止される。本実施の形態では、メッセージ等に対応する空中像#1が、空中像#2の中から消去される。
<空中像#1の形成例>
以下では、前述した機能を使用した空中像#1及び#2の形成例を説明する。
<例1>
図4は、空中像#2の周囲に位置するAさん宛のメッセージ等が届いた場合における空中像#1の移動を説明する図である。(A)は時点T1に形成される空中像#1であり、(B)は時点T2に形成される空中像#1であり、(C)は時点T3に形成される空中像#1である。
図4に示す空中像#1の移動は、送信元がAさんから見て空中像#2の奥側にいる場合の他、送信元の位置とは無関係にメッセージ等の受信を提示する場合に用いられる。
図4の場合、空中像#1は、時間の経過とともに、Aさんから見て空中像#2の奥側から手前側にサイズを拡大させながら近づいている。なお、サイズの拡大は、空中像#2が形成される実空間内の距離とは関係なく、サイズの変化を増幅して表現される。このため、空中像#1が移動する奥行方向の距離が短い場合でも、空中像#1が近づいてくる様子の認識が容易である。
図4の場合、時点T1では小さいサイズの空中像#1が空中像#2の奥側に形成され、時点T2ではサイズが拡大された空中像#1が空中像#2の中央付近に形成され、時点T3ではサイズが更に拡大された空中像#1が空中像#2のAさんの目の前に形成される。このため、Aさんによる自身宛のメッセージ等が受信される様子の確認が容易になる。
図5は、空中像#1が近づいてくる様子をサイズが異なる複数の空中像#1を用いて表現する例を説明する図である。(A)は時点T1に形成される空中像#1であり、(B)は時点T2に形成される空中像#1であり、(C)は時点T3に形成される空中像#1である。図5には、図4との対応部分に対応する符号を付して示す。
図5の場合、各時点で、過去の各時点の位置と移動の方向を示す矢印も空中像#1として空気中に形成される。このため、Aさんによる空中像#1の移動の方向の確認が容易になる。なお、空気中に形成される空中像#1の個数が増えすぎると確認が難しくなる。このため、図5に示す例では、空気中に形成する空中像#1の数を3個に限定している。すなわち、空中像#1の形成に用いる時点を3つに限定している。3つの時点は等間隔に定めてもよいが、空中での移動の見やすさを考慮して選択することが望ましい。
なお、移動の方向を示す矢印は空中に形成しないことも可能である。
<例2>
図6は、実空間における送信元と受信先の位置の関係を空中像#1の移動に反映させる例を説明する図である。
図6の場合、受信先はAさんであり、送信元はBさんである。Bさんは、Aさんから見て右側の方向に位置している。なお、BさんはAさんと同じ部屋にいることを要しない。
図6の場合、メッセージ等を表す空中像#1は、Aさんから見て空中像#2の右奥付近から曲線を描きながらAさんに近づくように移動されている。図6における空中像#1の移動は、図4で説明したように、各時点に1つの空中像#1が、サイズを拡大しながらの移動である。
この空中像#1の移動を確認したAさんは、自身宛のメッセージ等の受信があること、送信元は自身に対して右側の方向に位置していることを理解する。
なお、時点T3における空中像#2の奥行方向の位置は、Aさんから見たBさんの距離を反映してもよい。例えばBさんがAさんと同じ部屋にいる場合には、空中像#1はX軸方向に移動してもよい。
<例3>
図7は、実空間における送信元と受信先の位置の関係を空中像#1の移動に反映させる他の例を説明する図である。
図7の場合も、受信先はAさんであり、送信元はBさんである。ただし、図7の場合、Bさんは、Aさんの背後側に位置している。
このため、図7に示す例の場合、メッセージ等を表す空中像#1は、Aさんから見て空中像#2の手前側に出現し、その後、サイズを拡大させながら空中像#2の奥に進み、更に、UターンしてAさんに近づくように移動されている。
この空中像#1の移動を確認したAさんは、自身宛のメッセージ等の受信が実行されること、送信元は自身の背後側に位置していることを理解する。
なお、BさんがAさんの背後側にいる場合にも、時点T1における空中像#1のサイズは、時点T3における空中像#1のサイズと同じでもよい。この場合、空中像#1は空中像#2の奥側に進むにつれて小さくなり、Uターンして手前側に進むにつれて再び大きくなる。
<例4>
図8は、実空間における送信元と受信先の位置の関係を空中像#1の移動に反映させる他の例を説明する図である。
図8の場合も、受信先はAさんであり、送信元はBさんである。図8の場合も、Bさんは、Aさんの背後側に位置している。この位置の関係は、例3と同じである。
ただし、図8における空中像#1は、空中像#2の奥側からAさんに直線的に近づいている。空中像#1のサイズもAさんに近づくほど拡大している。
違いは、空中像#1の色調である。Aさんの背後に送信元のBさんが位置することを示すため、図8では、他の例とは異なる色調で空中像#1を表現している。なお、色調に限らず、空中像#1の模様や図案を変更することも可能である。いずれにしても、色調の違いに気づいたAさんは、目の前に形成され移動している空中像#1の送信元が自身の背後側であることを理解する。
<例5>
図9は、空中像#1の移動を妨げる動きが検出される場合を説明する図である。(A)は空中像#1の移動を妨げる手の動きを示し、(B)は空中像#1の移動を妨げる手の動きを検出した後を示す。
(A)は、図4の時点T2に対応する。このため、空中像#1は、空中像#2の奥側から中央付近まで移動している。この時点において、Aさんの手が移動中の空中像#1を叩き落とすような動きを示している。勿論、空中像#1は空気中に形成されているので、Aさんの手は空中像#1を通り抜ける。
しかし、受信先であるAさんによる空中像#1の移動を妨げる動きを検出したプロセッサ21(図1参照)は、空中像#1に対応するメッセージ等を受信するイベントの中止を指示する。この結果、時点T3では、空中像#1は空中から消えている。空中像#1が空中から消えることで、Aさんは自身の動作の受付を確認する。
<例6>
図10は、受信先が異なる2つの空中像#1A及び1Bが形成される例を説明する図である。
図10の場合、受信先はAさんとBさんの2人である。AさんとBさんは、空中像#2の異なる面に位置している。図10の場合、AさんはX軸とZ軸で規定される面と対面し、BさんはY軸とZ軸で規定される面と対面している。
図10の場合、空中像#1AはAさんへのメッセージ等の受信を表現し、空中像#1BはBさんへのメッセージ等の受信を表現している。
なお、図10における空中像#1A及び1Bの移動は、例1で説明したように、送信元の位置は無関係である。このため、空中像#1Aと空中像#1Bは、いずれも直線的にサイズを拡大しながらAさんとBさんに近づいている。
<例7>
図11は、空中像#2の周囲に位置するAさんからメッセージ等が送信される場合における空中像#1の移動を説明する図である。(A)は時点T1に形成される空中像#1であり、(B)は時点T2に形成される空中像#1であり、(C)は時点T3に形成される空中像#1である。
図11に示す空中像#1の移動は、送信元であるAさんから見て送信先が空中像#2の奥側にいる場合の他、送信先の位置とは無関係にメッセージ等の送信を提示する場合に用いられる。
図11の場合、空中像#1は、時間の経過とともに、Aさんから見て空中像#2の手間側から奥側にサイズを縮小させながら遠ざかっている。なお、サイズの縮小は、空中像#2が形成される実空間内の距離とは関係なく、サイズの変化を増幅して表現される。このため、空中像#1が移動する奥行方向の距離が短い場合でも、空中像#1が遠ざかっていく様子の認識が容易である。
図11の場合、時点T1では大きいサイズの空中像#1がAさんの目の前に形成され、時点T2ではサイズが縮小された空中像#1が空中像#2の中央付近に形成され、時点T3ではサイズが更に縮小された空中像#1が空中像#2の一番奥の位置に形成される。このため、Aさんが送信元であるメッセージ等が送信されていく様子の確認が容易になる。
図12は、空中像#1が遠ざかっていく様子をサイズが異なる複数の空中像#1を用いて表現する例を説明する図である。(A)は時点T1に形成される空中像#1であり、(B)は時点T2に形成される空中像#1であり、(C)は時点T3に形成される空中像#1である。図12には、図11との対応部分に対応する符号を付して示している。
図12の場合、各時点で、過去の各時点の位置と移動の方向を示す矢印も空中像#1として空気中に形成される。このため、Aさんによる空中像#1の移動の方向の確認が容易になる。なお、空気中に形成される空中像#1の個数が増えすぎると確認が難しくなる。このため、図12に示す例では、空気中に形成する空中像#1の数を3個に限定している。すなわち、空中像#1の形成に用いる時点を3つに限定している。3つの時点は等間隔に定めてもよいが、空中での移動の見やすさを考慮して選択することが望ましい。
なお、移動の方向を示す矢印は空中に形成しないことも可能である。
<例8>
図13は、実空間における送信元と送信先の位置の関係を空中像#1の移動に反映させる例を説明する図である。
図13の場合、送信元はAさんであり、送信先はBさんである。Bさんは、Aさんから見て右側の方向に位置している。なお、BさんはAさんと同じ部屋にいることを要しない。
図13の場合、メッセージ等を表す空中像#1は、Aさんの目の前の位置から空中像#2の右奥付近に曲線を描きながらBさんに近づくように移動されている。図13における空中像#1の移動は、図11で説明したように、1つの空中像#1がサイズを縮小しながらの移動である。
この空中像#1の移動を確認したAさんは、自身が送信元であるメッセージ等の送信が実行されること、送信先は自身に対して右側の方向に位置していることを理解する。
なお、時点T3における空中像#2の奥行方向の位置は、Aさんから見たBさんの距離を反映してもよい。例えばBさんがAさんと同じ部屋にいる場合には、空中像#1はX軸方向に移動してもよい。
<例9>
図14は、実空間における送信元と送信先の位置の関係を空中像#1の移動に反映させる他の例を説明する図である。
図14の場合も、送信元はAさんであり、送信先はBさんである。ただし、図14の場合、Bさんは、Aさんの背後側に位置している。
このため、図14に示す例の場合、メッセージ等を表す空中像#1は、Aさんの目の前に出現し、その後、サイズを縮小させながら空中像#2の奥に進み、更に、UターンしてAさんに近づくように移動されている。
この空中像#1の移動を確認したAさんは、自身が送信元であるメッセージ等の送信が実行されること、送信先は自身の背後側に位置していることを理解する。
なお、BさんがAさんの背後側にいる場合にも、時点T3における空中像#1のサイズは、時点T1における空中像#1のサイズと同じでもよい。この場合、空中像#1は空中像#2の奥側に進むにつれて小さくなり、Uターンして手前側に進むにつれて再び大きくなる。
<例10>
図15は、実空間における送信元と送信先の位置の関係を空中像#1の移動に反映させる他の例を説明する図である。
図15の場合も、送信元はAさんであり、送信先はBさんである。図15の場合も、Bさんは、Aさんの背後側に位置している。この位置の関係は、例9と同じである。
ただし、図15における空中像#1は、Aさんの目の前から空中像#2の奥側に直線的に遠ざかっている。空中像#1のサイズもAさんから遠ざかるほど縮小している。
違いは、空中像#1の色調である。Aさんの背後に送信元のBさんが位置することを示すため、図15では、他の例とは異なる色調で空中像#1を表現している。なお、色調に限らず、空中像#1の模様や図案を変更することも可能である。いずれにしても、色調の違いに気づいたAさんは、目の前に形成され移動している空中像#1の送信先が自身の背後側であることを理解する。
<例11>
図16は、空中像#1の移動を妨げる動きが検出される場合を説明する図である。(A)は空中像#1の移動を妨げる手の動きを示し、(B)は空中像#1の移動を妨げる手の動きを検出した後を示している。
(A)は、図11の時点T2に対応する。このため、空中像#1は、空中像#2の手前側から中央付近まで移動している。この時点において、Aさんの手が移動中の空中像#1を叩き落とすような動きを示している。勿論、空中像#1は空気中に形成されているので、Aさんの手は空中像#1を通り抜ける。
しかし、送信元であるAさんによる空中像#1の移動を妨げる動きを検出したプロセッサ21(図1参照)は、空中像#1に対応するメッセージ等を送信するイベントの中止を指示する。この結果、時点T3では、空中像#1は空中から消えている。空中像#1が空中から消えることで、Aさんは自身の動作の受付を確認する。
<例12>
図17は、送信元が異なる2つの空中像#1C及び1Dが形成される例を説明する図である。
図17の場合、送信元はAさんとBさんの2人である。AさんとBさんは、空中像#2の異なる面に位置している。図17の場合、AさんはX軸とZ軸で規定される面と対面し、BさんはY軸とZ軸で規定される面と対面している。
図17の場合、空中像#1CはAさんからのメッセージ等の送信を表現し、空中像#1DはBさんからのメッセージ等の送信を表現している。
なお、図17における空中像#1C及び1Dの移動は、例7で説明したように、送信先の位置は無関係である。このため、空中像#1Cと空中像#1Dは、いずれも直線的にサイズを縮小させながらAさんとBさんから遠ざかっている。
<他の実施の形態>
以上、本発明の実施の形態について説明したが、本発明の技術的範囲は前述した実施の形態に記載の範囲に限定されない。前述した実施の形態に、種々の変更又は改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。
例えば前述の実施の形態では、空中像#1の空中の移動の確認を容易にする目的で立方体形状の空中像#2を空気中に形成しているが、空中像#2を形成しないことも可能である。すなわち、空中像#1だけを空気中に形成し、空中像#1を通信の方向に応じて移動させてもよい。
図18は、空中像#1に対する指標としての空中像#2を形成しない例を説明する図である。(A)はメッセージ等の受信を表現する空中像#1の移動を示し、(B)はメッセージ等の送信を表現する空中像#1の移動を示す。
(A)に示す空中像#1の移動は、図4における空中像#1の移動に対応し、(B)に示す空中像#1の移動は、図11における空中像#1の移動に対応している。
前述の実施の形態の場合には、メッセージ等のデータ量の違いによらず、空中像#1の形状は同じであったが、空中像#1の形状がメッセージ等のデータ量の大きさに応じて変化してもよい。メッセージ等のデータ量は、通信データの容量の一例である。
図19は、空中像#1の形状がメッセージ等のデータ量の大きさを表す例を説明する図である。(A)はデータ量が小さい場合の形状を示し、(B)はデータ量が大きい場合の形状を示す。
図19の場合、データ量の大きさを空中像#1の体積の違いで表現している。具体的には、空中像#1の厚みの大きさで表現している。ここでの空中像#1の厚みは、データ量の大きさに比例して、予め定めた範囲で連続的に変更してもよい。
もっとも、空中像#1の厚みは、データ量の大きさと予め定めた閾値との比較により分類してもよい。なお、閾値の数は1つに限らず複数でもよい。
また、閾値の大きさは、送信の対象の種類に応じて定めても良い。例えばメッセージの閾値よりも、データファイル、コンテンツデータ、プログラムデータの閾値を大きくしてもよい。
この他、空中像#1の厚みではなく、空中像#1のサイズを変更してもよいし、色調を変更してもよい。
また、前述の実施の形態では、空中像形成装置10(図1参照)と制御装置20(図1参照)を互いに独立した装置として説明したが、空中像形成装置10と制御装置20は一体型の装置でもよい。
また、前述の実施の形態における制御装置20は、いわゆるコンピュータでもよいし、スマートフォンその他の情報端末でもよいし、インターネット上に設置されるサーバでもよい。
前述した各実施の形態におけるプロセッサ21(図1参照)は、広義的な意味でのプロセッサを指し、汎用的なプロセッサ(例えばCPU(=Central Processing Unit)等)の他、専用的なプロセッサ(例えばGPU(=Graphical Processing Unit)、ASIC(=Application Specific Integrated Circuit)、FPGA(=Field Programmable Gate Array)、プログラム論理デバイス等)を含む。
また、前述した各実施の形態におけるプロセッサの動作は、1つのプロセッサが単独で実行してもよいが、物理的に離れた位置に存在する複数のプロセッサが協働して実行してもよい。また、プロセッサにおける各動作の実行の順序は、前述した各実施の形態に記載した順序のみに限定されるものでなく、個別に変更してもよい。
1…情報処理システム、10…空中像形成装置、20…制御装置、21…プロセッサ、22…記憶装置、30…カメラ

Claims (6)

  1. プロセッサを有し、
    前記プロセッサは、
    空気中に形成される像の移動を表す場合、当該像を、当該像を観察する人に近づくほど大きいサイズで表現し、当該像を観察する人から遠ざかるほど小さいサイズで表現し、
    前記像の移動が受信を表す場合、前記プロセッサは、当該像のサイズを拡大させながら、当該像を人の方向に移動させ、
    前記プロセッサは、前記像を観察する人が実在する位置と、当該像に対応する送信元が実在する位置との関係を、当該像の移動の経路で表現し、
    前記プロセッサは、前記像に対応する送信元が当該像を観察する人の背後側に位置する場合、前方から受信されるときとは異なる色調で当該像を表現する、情報処理装置。
  2. プロセッサを有し、
    前記プロセッサは、
    空気中に形成される像の移動を表す場合、当該像を、当該像を観察する人に近づくほど大きいサイズで表現し、当該像を観察する人から遠ざかるほど小さいサイズで表現し、
    前記像の移動が送信を表す場合、前記プロセッサは、当該像のサイズを縮小させながら、当該像を人から遠ざかる方向に移動させ、
    前記プロセッサは、前記像を観察する人が実在する位置と、当該像に対応する受信先が実在する位置との関係を、当該像の移動の経路で表現し、
    前記プロセッサは、前記像に対応する受信先が当該像を観察する人の背後側に位置する場合、前方側に位置するときとは異なる色調で当該像を表現する、情報処理装置。
  3. プロセッサを有し、
    前記プロセッサは、
    空気中に形成される像の移動を表す場合、当該像を、当該像を観察する人に近づくほど大きいサイズで表現し、当該像を観察する人から遠ざかるほど小さいサイズで表現し、
    前記像が形成される空間の周囲に複数の人が存在する場合、各人に対応する当該像の移動中のサイズを対応する人との位置関係に応じて表現する情報処理装置。
  4. コンピュータに、
    空気中に形成される像の移動を表す場合、当該像を、当該像を観察する人に近づくほど大きいサイズで表現し、当該像を観察する人から遠ざかるほど小さいサイズで表現させる機能と、
    前記像の移動が受信を表す場合、当該像のサイズを拡大させながら、当該像を人の方向に移動させる機能と、
    前記像を観察する人が実在する位置と、当該像に対応する送信元が実在する位置との関係を、当該像の移動の経路で表現する機能と、
    前記像に対応する送信元が当該像を観察する人の背後側に位置する場合、前方から受信されるときとは異なる色調で当該像を表現する機能と、
    を実現させるためのプログラム。
  5. コンピュータに、
    空気中に形成される像の移動を表す場合、当該像を、当該像を観察する人に近づくほど大きいサイズで表現し、当該像を観察する人から遠ざかるほど小さいサイズで表現させる機能と、
    前記像の移動が送信を表す場合当該像のサイズを縮小させながら、当該像を人から遠ざかる方向に移動させる機能と、
    前記像を観察する人が実在する位置と、当該像に対応する受信先が実在する位置との関係を、当該像の移動の経路で表現する機能と、
    前記像に対応する受信先が当該像を観察する人の背後側に位置する場合、前方側に位置するときとは異なる色調で当該像を表現する機能と、
    を実現させるためのプログラム。
  6. コンピュータに、
    空気中に形成される像の移動を表す場合、当該像を、当該像を観察する人に近づくほど大きいサイズで表現し、当該像を観察する人から遠ざかるほど小さいサイズで表現させる機能と、
    前記像が形成される空間の周囲に複数の人が存在する場合、各人に対応する当該像の移動中のサイズを対応する人との位置関係に応じて表現する機能と、
    を実現させるためのプログラム。
JP2019229723A 2019-12-19 2019-12-19 情報処理装置及びプログラム Active JP7447474B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019229723A JP7447474B2 (ja) 2019-12-19 2019-12-19 情報処理装置及びプログラム
US16/890,617 US20210191577A1 (en) 2019-12-19 2020-06-02 Information processing apparatus and non-transitory computer readable medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019229723A JP7447474B2 (ja) 2019-12-19 2019-12-19 情報処理装置及びプログラム

Publications (2)

Publication Number Publication Date
JP2021099544A JP2021099544A (ja) 2021-07-01
JP7447474B2 true JP7447474B2 (ja) 2024-03-12

Family

ID=76438074

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019229723A Active JP7447474B2 (ja) 2019-12-19 2019-12-19 情報処理装置及びプログラム

Country Status (2)

Country Link
US (1) US20210191577A1 (ja)
JP (1) JP7447474B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023145892A1 (ja) * 2022-01-31 2023-08-03 株式会社Nttドコモ 表示制御装置及びサーバ

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002152447A (ja) 2000-08-31 2002-05-24 Canon Inc データ通信装置、データ処理方法および記憶媒体
JP2003281864A (ja) 2002-03-25 2003-10-03 Sanyo Electric Co Ltd 記録媒体管理装置および記録装置
JP2009278456A (ja) 2008-05-15 2009-11-26 Hitachi Ltd 映像表示装置
US20110161856A1 (en) 2009-12-28 2011-06-30 Nokia Corporation Directional animation for communications
JP2011159163A (ja) 2010-02-02 2011-08-18 Sony Corp 画像処理装置、画像処理方法及びプログラム
US20140015858A1 (en) 2012-07-13 2014-01-16 ClearWorld Media Augmented reality system
US20190228588A1 (en) 2018-01-24 2019-07-25 Apple Inc. Devices, Methods, and Graphical User Interfaces for System-Wide Behavior for 3D Models

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6784901B1 (en) * 2000-05-09 2004-08-31 There Method, system and computer program product for the delivery of a chat message in a 3D multi-user environment
EP2010999A4 (en) * 2006-04-21 2012-11-21 Google Inc SYSTEM FOR ORGANIZING AND VISUALIZING DISPLAY OBJECTS
US8500284B2 (en) * 2008-07-10 2013-08-06 Real View Imaging Ltd. Broad viewing angle displays and user interfaces
US20100214243A1 (en) * 2008-07-15 2010-08-26 Immersion Corporation Systems and Methods For Interpreting Physical Interactions With A Graphical User Interface
US9414041B2 (en) * 2009-11-23 2016-08-09 Samsung Electronics Co., Ltd. Method for changing play mode, method for changing display mode, and display apparatus and 3D image providing system using the same
EP2548179A4 (en) * 2010-03-17 2013-10-16 Sony Corp INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING PROCESS AND PROGRAM
KR101407670B1 (ko) * 2011-09-15 2014-06-16 주식회사 팬택 증강현실 기반 모바일 단말과 서버 및 그 통신방법
US9990770B2 (en) * 2011-12-20 2018-06-05 Intel Corporation User-to-user communication enhancement with augmented reality
US20180365270A1 (en) * 2017-06-19 2018-12-20 Get Attached, Inc. Context aware digital media browsing

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002152447A (ja) 2000-08-31 2002-05-24 Canon Inc データ通信装置、データ処理方法および記憶媒体
JP2003281864A (ja) 2002-03-25 2003-10-03 Sanyo Electric Co Ltd 記録媒体管理装置および記録装置
JP2009278456A (ja) 2008-05-15 2009-11-26 Hitachi Ltd 映像表示装置
US20110161856A1 (en) 2009-12-28 2011-06-30 Nokia Corporation Directional animation for communications
JP2011159163A (ja) 2010-02-02 2011-08-18 Sony Corp 画像処理装置、画像処理方法及びプログラム
US20140015858A1 (en) 2012-07-13 2014-01-16 ClearWorld Media Augmented reality system
US20190228588A1 (en) 2018-01-24 2019-07-25 Apple Inc. Devices, Methods, and Graphical User Interfaces for System-Wide Behavior for 3D Models

Also Published As

Publication number Publication date
JP2021099544A (ja) 2021-07-01
US20210191577A1 (en) 2021-06-24

Similar Documents

Publication Publication Date Title
US20210056765A1 (en) Information processing apparatus, information processing method, and program
US11089266B2 (en) Communication processing method, terminal, and storage medium
US20170068508A1 (en) Method and system for communicating with a user immersed in a virtual reality environment
JP7005753B2 (ja) プライバシースクリーン
JP2019083402A (ja) 画像処理装置、画像処理システム、画像処理方法、及びプログラム
US11361497B2 (en) Information processing device and information processing method
TWI752473B (zh) 圖像處理方法及裝置、電子設備和電腦可讀儲存媒體
JP7447474B2 (ja) 情報処理装置及びプログラム
US20210364809A1 (en) Augmented visual capabilities
US9848168B2 (en) Method, synthesizing device, and system for implementing video conference
JP2018533124A (ja) 注視仮想オブジェクト識別モジュール、注視半透過性を実現するためのシステム、および関連する方法
US11030979B2 (en) Information processing apparatus and information processing method
US11330251B2 (en) Defining a holographic object allowance area and movement path
WO2018042074A1 (en) A method, apparatus and computer program product for indicating a seam of an image in a corresponding area of a scene
WO2022183656A1 (zh) 数据生成方法、装置、设备、存储介质及程序
US11263456B2 (en) Virtual object repositioning versus motion of user and perceived or expected delay
US9448622B2 (en) Information processing apparatus, information processing method, and program for generating feedback to an operator regarding positional relationship of other users near a display
CN109727315B (zh) 一对多集群渲染方法、装置、设备及存储介质
CN114402364A (zh) 使用随机森林的3d对象检测
WO2021085320A1 (ja) 情報処理装置および方法
EP3337165A1 (en) Video communication method and system
JP7419529B2 (ja) 遠隔端末のための没入型テレカンファレンス及びテレプレゼンスのインタラクティブオーバーレイ処理
CN116703952B (zh) 过滤遮挡点云的方法、装置、计算机设备及存储介质
US11069139B2 (en) Device and method for virtual reality, augmented reality, and mixed reality
EP4344196A1 (en) Visual techniques for 3d content

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221122

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230615

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230725

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230921

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240119

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240130

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240212

R150 Certificate of patent or registration of utility model

Ref document number: 7447474

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150