JP6975489B1 - 情報処理システム、情報処理方法および情報処理プログラム - Google Patents

情報処理システム、情報処理方法および情報処理プログラム Download PDF

Info

Publication number
JP6975489B1
JP6975489B1 JP2020210740A JP2020210740A JP6975489B1 JP 6975489 B1 JP6975489 B1 JP 6975489B1 JP 2020210740 A JP2020210740 A JP 2020210740A JP 2020210740 A JP2020210740 A JP 2020210740A JP 6975489 B1 JP6975489 B1 JP 6975489B1
Authority
JP
Japan
Prior art keywords
event
anchor
information processing
information
start condition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020210740A
Other languages
English (en)
Other versions
JP2022097263A (ja
Inventor
俊一 竹下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gatari
Original Assignee
Gatari
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gatari filed Critical Gatari
Priority to JP2020210740A priority Critical patent/JP6975489B1/ja
Priority to JP2021177791A priority patent/JP7602098B2/ja
Application granted granted Critical
Publication of JP6975489B1 publication Critical patent/JP6975489B1/ja
Priority to CN202180085733.8A priority patent/CN116635930A/zh
Priority to PCT/JP2021/046633 priority patent/WO2022131347A1/ja
Publication of JP2022097263A publication Critical patent/JP2022097263A/ja
Priority to US18/336,926 priority patent/US20230334799A1/en
Priority to JP2024113702A priority patent/JP2024147696A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K15/00—Acoustics not otherwise provided for
    • G10K15/04—Sound-producing devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/023—Services making use of location information using mutual or relative location information between multiple location based services [LBS] targets or of distance thresholds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/38—Services specially adapted for particular environments, situations or purposes for collecting sensor information
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Architecture (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Acoustics & Sound (AREA)
  • Databases & Information Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Stereophonic System (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

【課題】測位衛星による測位が困難な状況においても空間に配置されたイベントを実行できるとともに、イベントが開始される開始条件の精度が高いシステムの構築コストを低減させる。
【解決手段】空間をスキャンするセンサにおいてスキャンされたスキャンデータを取得し、カメラにおいて撮影された撮影画像を表示器に表示し、取得されたスキャンデータに基づき、表示された撮影画像に仮想的なアンカーを配置する操作を利用者に提供し、配置されたアンカーに係るアンカー情報を記憶し、記憶されたアンカー情報に対してイベントを対応付けて配置させるイベント配置操作と、イベント配置操作において配置されたイベントを開始させるための開始条件を設定する開始条件設定操作と、を利用者に提供し、配置されたイベントの配置情報と、開始条件設定操作において設定された開始条件とを記憶し、イベントを記憶し、開始条件が満たされたときにイベントを実行させる。
【選択図】図１

Description

本発明は、情報処理システム、情報処理方法および情報処理プログラムに関する。
従来、地理的な座標位置から所定の距離内にある範囲をジオフェンスとして設定し、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）等の測位衛星によって位置情報を取得できるモバイル端末が設定されたジオフェンス内に入った場合にモバイル端末にコンテンツの提供等のイベントを開始する技術がある。例えば、特許文献１には、モバイルクライアント装置がＧＰＳ受信機を有し、ジオフェンスにより定義される地理的ポジションの閾値距離内にモバイルクライアント装置が入った場合に広告等の印刷データを提供する技術が開示されている。
また、カメラ等により撮影された映像に画像を重畳させるＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）において空間に配置されたイベントを実行する技術があった。例えば、特許文献２には、カメラで撮影された撮影画像に予め登録されたオブジェクトを配置して再生する装置に関する技術が開示されている。
特開２０１７−２０８０７７号公報 特開２０１９−１８６９２１号公報
しかし、特許文献１の技術においては、測位衛星からの電波の受信状態によって測位の精度が変化して、例えば、上空の見晴らしの悪い場所や屋内においては測位衛星による測位精度が低下し、あるいは測位不能となる場合があった。このため、測位衛星による測位結果に応じてイベントが実行されるシステムにおいては、端末がジオフェンスに入ったか否かの検出精度が低下して、イベント開始のタイミングがずれる等、イベント開始の精度が低下する場合があった。
また、特許文献２においては、利用者の位置を精度良く検出するためには、複数のセンサを設置する必要があり、空間に仮想的に配置されたイベントが開始される開始条件の精度を向上させるためにはシステムを構築するコストが上昇してしまう場合があった。
本発明は上記事情に鑑みてなされたものであり、測位衛星による測位が困難な状況においても空間に配置されたイベントを実行できるとともに、イベントが開始される開始条件の精度が高いシステムの構築コストを低減させることができる、情報処理システム、情報処理方法および情報処理プログラムを提供することを一つの目的とする。
上記の課題を解決するため、情報処理システムは、空間をスキャンするセンサにおいてスキャンされたスキャンデータを取得する取得部と、カメラにおいて撮影された撮影画像を表示器に表示する表示部と、取得部において取得されたスキャンデータに基づき、表示部において表示された撮影画像に仮想的なアンカーを配置する操作を利用者に提供するアンカー配置部と、アンカー配置部において配置されたアンカーに係るアンカー情報を記憶するアンカー情報記憶部と、アンカー情報記憶部に記憶されたアンカー情報に対してイベントを対応付けて配置させるイベント配置操作と、イベント配置操作において配置されたイベントを開始させるための開始条件を設定する開始条件設定操作と、を利用者に提供するイベント設定部と、イベント配置操作において配置されたイベントの配置情報と、開始条件設定操作において設定された開始条件とを記憶するイベント情報記憶部と、イベントを記憶するイベント記憶部と、イベント情報記憶部に記憶された開始条件が満たされたときにイベント記憶部に記憶されたイベントを提供するイベント提供部と、を備える。
上記の課題を解決するため、情報処理端末は、空間をスキャンするセンサにおいてスキャンされたスキャンデータを取得する取得部と、カメラにおいて撮影された撮影画像を表示器に表示する表示部と、取得部において取得されたスキャンデータに基づき、表示部において表示された撮影画像に仮想的なアンカーを配置する操作を利用者に提供するアンカー配置部と、アンカー配置部において配置されたアンカーに係るアンカー情報を情報処理装置に提供するアンカー情報提供部と、情報処理装置に提供されたアンカー情報に対してイベントを対応付けて配置させるイベント配置操作と、イベント配置操作において配置されたイベントを開始させるための開始条件を設定する開始条件設定操作と、を利用者に提供するイベント設定部と、イベント配置操作において配置されたイベントの配置情報と、開始条件設定操作において設定された開始条件とを情報処理装置に提供するイベント情報提供部と、を備える。
上記の課題を解決するため、情報処理端末は、空間をスキャンするセンサにおいてスキャンされたスキャンデータを取得する取得部と、取得部において取得されたスキャンデータに基づき、空間に仮想的に配置されたアンカーを検出する検出部と、検出部において検出されたアンカーを、カメラにおいて撮影された撮影画像に表示させる表示部と、検出部において検出されたアンカーに対応付けて配置されたイベントに設定された、イベントを開始させるための開始条件が満足される場合に、イベントを実行するイベント実行部と、を備える。
本発明の一つの実施形態によれば、情報処理システムは、空間をスキャンするセンサにおいてスキャンされたスキャンデータを取得し、カメラにおいて撮影された撮影画像を表示器に表示し、取得されたスキャンデータに基づき、表示された撮影画像に仮想的なアンカーを配置する操作を利用者に提供し、配置されたアンカーに係るアンカー情報を記憶し、記憶されたアンカー情報に対してイベントを対応付けて配置させるイベント配置操作と、イベント配置操作において配置されたイベントを開始させるための開始条件を設定する開始条件設定操作と、を利用者に提供し、配置されたイベントの配置情報と、開始条件設定操作において設定された開始条件とを記憶し、イベントを記憶し、記憶された開始条件が満たされたときに記憶されたイベントを実行させることにより、測位衛星による測位が困難な状況においても空間に配置されたイベントを実行できるとともに、イベントが開始される開始条件の精度が高いシステムの構築コストを低減させることができる。
実施形態における情報処理システムのシステム構成の一例を示すブロック図である。 実施形態における情報処理端末において用いられる表示装置の第１の表示例を示す図である。 実施形態における情報処理端末において用いられる表示装置の第２の表示例を示す図である。 実施形態における情報処理端末において用いられる表示装置の第３の表示例を示す図である。 実施形態における情報処理端末において用いられる表示装置の第４の表示例を示す図である。 実施形態における情報処理端末の端末状態の第１の例を示す図である。 実施形態における情報処理端末の端末状態の第２の例を示す図である。 実施形態における情報処理端末のハードウェア構成の一例を示すブロック図である。 実施形態における情報処理システムの動作の第１の例を示すフローチャートである。 実施形態における情報処理システムの動作の第２の例を示すフローチャートである。
以下、図面を参照して本発明の一実施形態における情報処理システム、情報処理方法および情報処理プログラムについて詳細に説明する。
先ず、図１を用いて、情報処理システムの構成を説明する。図１は、実施形態における情報処理システムのシステム構成の一例を示すブロック図である。
図１において、情報処理システム１００は、情報処理端末１０、情報処理端末２０および情報処理装置３０を有する。
情報処理端末１０は、空間に仮想的に配置されて実行されるイベントを設定するための端末である。情報処理端末２０は、空間に仮想的に配置されたイベントを実行するための端末である。また、情報処理装置３０は、情報処理端末１０において配置されたイベントの設定を記憶し、記憶したイベントの設定に基づき、情報処理端末２０においてイベントを実行させる装置である。
本実勢形態におけるイベントとは、情報処理端末２０の移動によって実行される、情報処理システム１００における装置の動作である。情報処理システム１００における装置とは、例えば、情報処理端末２０（または情報処理端末１０）、または、図示しない音響システム、表示システムもしくはアクチュエータ等である。
装置の動作とは、例えば、コンテンツの再生、データ通信、またはアクチュエータの動作等である。コンテンツの再生とは、例えば、音源の再生、画像（動画または静止画）の表示、または３Ｄオブジェクトの表示等である。データ通信とは、例えば、情報処理端末２０と情報処理装置３０との通信であって、情報処理端末２０の端末情報（例えば、機器ＩＤ、位置情報、加速度センサ計測値またはカメラ撮影画像等）を情報処理装置３０に提供する通信である。データ通信には、例えば、情報処理端末２０からのデータ通信によって音響機器または映像機器等を制御するものが含まれていてもよい。また、アクチュエータの動作とは、モータまたはエアシリンダ、エアバルブ等のアクチュエータの動作であり、例えば、モータ等によって駆動される動物形状のオブジェクトもしくはドア等を動かしたり、空気によって膨らむバルーンを膨らませたりする動作である。
なお、以下の実施例においては、イベントの実行として、情報処理端末２０における音源の再生を例示するが、情報処理システム１００におけるイベントの実行はこれに限定されるものではない。
情報処理端末１０および情報処理端末２０は、利用者によって可搬される装置であって、例えばスマートフォン、タブレットＰＣまたはヘッドマウント型、メガネ型もしくは腕時計型のウエアラブル装置等である。また、情報処理装置３０は、ネットワーク９を介して情報処理端末１０および情報処理端末２０と通信可能に接続される装置であって、例えば、サーバ装置である。なお、本実施形態における利用者とは、情報処理端末１０、情報処理端末２０または情報処理装置３０の利用者であって、それぞれ別の利用者であっても、あるいは同一の利用者であってもよい。また、利用者は専用のオペレータであっても、あるいは専用のオペレータ以外の一般の利用者であってもよい。
情報処理端末１０は、取得部１１、表示部１２、アンカー配置部１３、アンカー情報提供部１４、イベント設定部１５およびイベント情報提供部１６を有する。情報処理端末２０は、取得部２１、表示部２２、検出部２３、スキャンデータ提供部２４、イベント情報取得部２５およびイベント実行部２６を有する。また、情報処理装置３０は、アンカー情報記憶部３１、イベント情報記憶部３２、イベント提供部３３およびイベント記憶部３４を有する。本実施形態における情報処理システム１の上記各機能部は、本実施形態における情報処理プログラム（ソフトウェア）によって実現される機能モジュールであるものとして説明する。
取得部１１および取得部２１は、空間をスキャンするセンサにおいてスキャンされたスキャンデータを取得する。空間をスキャンするセンサとは、空間に存在する物体の形状をスキャンするセンサであり、例えば、空間に存在する物体までの距離を測距する測距センサである。測距センサとしては、例えば、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ）技術を用いたセンサを用いることができる。ＬｉＤＡＲにおいては、例えば、レーザー光が用いられる。ＬｉＤＡＲは、紫外線、赤外線、または近赤外線を用いるものであってもよい。ＬｉＤＡＲは、センサから物体までの距離を計測（測距）することによって空間に存在する物体の形状を３次元で計測することができる。なお、空間をスキャンしたスキャンデータは、例えば、情報処理端末１０または情報処理端末２０が有する図示しないステレオカメラで撮影された撮影画像等であってもよい。また、空間をスキャンしたスキャンデータは、情報処理端末１０または情報処理端末２０が有する図示しない位置センサまたは加速度センサによって取得される情報を含んでいてもよい。
表示部１２および表示部２２は、カメラにおいて撮影された撮影画像を表示器に表示する。表示部１２および表示部２２は、例えば、スマートフォンのカメラにおいて撮影された撮影画像をスマートフォンの表示画面に表示する。
アンカー配置部１３は、取得部１１において取得されたスキャンデータに基づき、表示部１２において表示された撮影画像に仮想的なアンカーを配置する操作を利用者に提供する。仮想的なアンカーとは、空間に仮想的に設置（配置）されたマーク（目印）であり、空間内の特定の位置を表す座標値を有する。本実施形態におけるアンカーは、音源を配置する位置を示すマーク等である。マークの形状は、例えば、球体、立方体、またはアイコン画像等であり、表示部１２において表示されて、利用者が目視できるものであればよい。アンカー配置部１３は、取得部１１において取得されたスキャンデータに基づき計測された空間における物体の形状を明らかにして、表示部１２に表示された撮影画像においてアンカーを配置する操作をするためのＵＩを利用者に提供する。利用者は、表示部１２に表示された撮影画像を確認しながら、アンカーを配置する位置を確認することが可能となる。
アンカー配置部１３は、表示部１２において表示された撮影画像を用いてアンカーを配置する位置を修正する操作を利用者にさらに提供する。アンカーの配置位置は表示部１２に表示される２次元の撮影画像を確認しながら決定されるため、表示画面の奥行き方向においては、配置位置が不明瞭となる場合がある。例えば、アンカー配置部１３は、一度配置されたアンカーの位置を、奥行き方向に予め定められた距離（例えば、１ｍまたは５０ｃｍ等）移動させることにより、アンカーを配置する位置を修正することが可能となる。アンカーを配置する位置を修正することにより、再度アンカーを配置し直す場合に比べてアンカー配置の効率化を図ることが可能となる。
アンカー情報提供部１４は、アンカー配置部１３において配置されたアンカーに係るアンカー情報を情報処理装置３０に提供する。アンカーに係るアンカー情報には、例えば、空間における座標情報が含まれる。空間における座標情報とは、空間をスキャンしたスキャンデータに基づく座標情報であり、例えば、空間に存在する特徴量の大きい物体からの相対的な位置を示す座標情報である。空間の特徴量とは、例えば、空間に存在する色データの分布（ヒストグラム）、物体の形状または色データのベクトルデータである。空間を認識する場合において、特徴量が近似している場所は、同一の場所であると認識することができる。特徴量が大きい物体の位置は周辺との特徴量の差異が大きくなるため、座標情報における物体の位置の誤差を小さくすることができる。一方、特徴量の少ない物体の位置は周辺との特徴量の差異が小さくなるため、座標情報における物体の位置の誤差が大きくなる。空間に存在する特徴量の大きい物体からの相対的な位置を座標情報とすることにより、例えば、特徴量の小さい物体の位置にアンカーを配置する場合においても座標情報における物体の位置の誤差を小さくすることが可能となる。なお、上述した座標情報は、空間をスキャンしたスキャンデータに基づく座標情報であるため、空間に存在する物体からの相対的な位置情報となる。しかし、座標情報には、例えば、電波を発する基準点（ビーコン）からの相対距離から算出される座標情報、測位衛星から取得される電波から算出される経度、緯度および高度からなる絶対的な座標情報等が含まれていてもよい。例えば、２つの算出方法に基づく座標情報を用いることにより、座標情報を二重にチェックすることができるので座標情報の信頼性を向上させることができる。
なお、本実施形態において、「提供」という場合、プッシュ型の送信であってもプル型の送信であってもよい。また、本実施形態において、「取得」という場合、プル型の受信であってもプッシュ型の受信であってもよい。
イベント設定部１５は、情報処理装置３０に提供されたアンカー情報に対してイベントを配置するイベント配置操作を利用者に提供する。また、イベント設定部１５は、イベント配置操作において配置されるイベントが開始されるための開始条件を設定する開始条件設定操作を利用者に提供する。
イベント配置操作とは、アンカー情報に対してイベントを配置する操作であって、例えば、配置されたアンカーに対して、再生するコンテンツを割り当てる操作である。コンテンツの割り当てには、例えば、予め作成されているまたは新たに作成された音源のプレイリストを選択して割り当てる（対応付ける）操作等が含まれる。プレイリストとは、１または複数の音源ファイルを用いて、再生される音源を決めておくことであり、プレイリスト名を付与しておくことにより再生される音源を識別しやすくすることができる。イベント配置操作を利用者に提供することにより、例えば、アンカーに対するイベントの割り当てを変更するだけで実行されるイベントを変更することが可能となり、イベント配置の操作性を向上させることが可能となる。なお、配置するイベントは、上述の通り、画像の再生等のコンテンツの再生、データ通信、またはアクチュエータの動作等であってもよい。イベント配置操作においては、例えば、動物形状のオブジェクトの近傍に配置されたアンカーに対して、オブジェクトを駆動するアクチュエータを動作させるイベントを配置してもよい。
イベントが実行されるための開始条件とは、情報処理端末２０等においてイベントが実行されるための条件であり、例えば、アンカーと情報処理端末２０の距離、情報処理端末２０のカメラの撮影方向、情報処理端末２０の高度（アンカーとの相対的な高度差、または海面を基準とする絶対高度等）、アンカーの表示時間、または情報処理端末２０の停止時間等である。また、開始条件には、アンカーと情報処理端末２０の距離が近付いているのか、あるいは遠ざかっているのか等の条件が含まれていてもよい。また、開始条件には、複数の情報処理端末２０においてアンカーが撮影されていることが含まれていてもよい。また、開始条件には、図示しない加速度センサ等から取得される利用者の挙動が含まれていてもよい。
また、開始条件には、イベントの実行態様が含まれていてもよい。実行態様とは、例えば、イベントが音源の再生である場合、音源の再生音量、再生時間、再生速度、高音または低音の強調、または、音量を徐々に上げるもしくは下げる等の態様である。実行態様には、上述した、アンカーと情報処理端末２０の距離、情報処理端末２０のカメラの撮影方向、情報処理端末２０の高度、アンカーの表示時間、または情報処理端末２０の停止時間等によってイベントの実行態様が変化するものが含まれていてもよい。再生条件を設定することにより、音源を用いて様々な演出をすることが可能となる。
イベント情報提供部１６は、イベント設定部１５においてイベント配置操作がされたイベントの配置情報と、開始条件設定操作において設定された開始条件とを情報処理装置３０に提供する。配置情報と開始条件を情報処理装置３０に提供することにより、情報処理装置３０においてこれらの情報を記憶しておくことが可能となる。情報処理装置３０においてこれらの情報を記憶しておくことにより、記憶された情報を読み出して利用することが可能となる。なお、アンカーの配置またはイベントの設定は複数の情報処理端末１０において実行されてもよい。複数の情報処理端末１０においてアンカーの配置等が実行された場合、一の情報処理端末１０におけるアンカーの配置等の実行結果は情報処理装置３０に保存されて他の情報処理端末１０にも反映される。
検出部２３は、取得部２１において取得されたスキャンデータに基づき、空間に仮想的に配置されたアンカーを検出する。検出部２３は、アンカー配置部１３において配置されたアンカーに係るアンカー情報を情報処理装置３０から取得する。アンカー情報には、アンカーの位置情報等が含まれる。アンカーの検出は、例えば上述の空間の特徴量が近似するか否かで行うことができる。検出部２３は、取得部２１により取得されたスキャンデータと、情報処理装置３０から取得したアンカー情報とに基づいて、空間の特徴量が近似するか否かでアンカーを検出することができる。検出部２３は、３次元のスキャンデータに基づきアンカーを検出することができる。しかし、検出部２３は、２次元のスキャンデータに基づきアンカーを検出するようにしてもよい。また、検出部２３は、図示しないＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）センサまたは加速度センサから取得された計測値にさらに基づきアンカーを検出するようにしてもよい。
本実施形態においては、検出部２３が取得されたスキャンデータに基づき空間に仮想的に配置されたアンカーを検出することにより、ジオフェンスを３次元で設定することが可能となる。従来のジオフェンスにおいては平面上の範囲をジオフェンスとして設定することができた。一方、本実施形態においてはスキャンデータに基づきアンカーを検出するものである。スキャンデータは情報処理端末１０（または情報処理端末２０）の３次元的な位置によって異なる。例えば、情報処理端末１０が平面上の同じ位置にある場合であっても、情報処理端末１０の高さが異なる場合には空間中の同じ１点を向いてスキャンした場合であってもスキャンデータが異なる。検出部２３は、異なるスキャンデータに基づきそれぞれアンカーを検出することにより、３次元的に異なる検出結果を得ることが可能となり、ジオフェンスを３次元で設定することが可能となる。本実施形態においては、検出部２３が取得されたスキャンデータに基づき空間に仮想的に配置されたアンカーを検出することにより、空間に配置されたイベントが開始される開始条件の精度を向上させるとともに、３次元で設定されるジオフェンスを用いたイベントの提供を可能としている。
スキャンデータ提供部２４は、取得部２１において取得されたスキャンデータを情報処理装置３０に提供する。情報処理装置３０は、スキャンデータ提供部２４において提供されたスキャンデータに基づき、情報処理装置３０において推定される端末状態が開始条件を満足するか否かを判断することができる。端末状態とは、例えば、情報処理端末２０の位置、カメラの撮影方向、アンカーとの距離、情報処理端末２０の振動、または、他の情報処理端末２０との位置関係等である。情報処理装置３０は、端末状態が再生条件を満たすか否かを判断することができる。端末状態が開始条件を満たすか否かは、例えば、情報処理端末２０から取得した端末状態の情報と、イベント情報記憶部３２に記憶されている開始条件とを比較することで判断することができる。
なお、本実施形態においては、検出部２３においてアンカーを検出する場合を例示したが、アンカーの検出は情報処理装置３０において実施するようにしてもよい。スキャンデータを情報処理装置３０に提供することにより、検出部２３の代わりにまたは検出部２３と同時に、情報処理装置３０においてアンカーの検出を行うことが可能となる。
イベント情報取得部２５は、スキャンデータ提供部２４において提供されたスキャンデータに基づき情報処理装置３０において推定される端末状態が開始条件を満足させることを示す開始条件情報を情報処理装置３０から取得する。
イベント実行部２６は、検出部２３において検出されたアンカーに配置されたイベントが開始されるための開始条件が満足される場合に、イベントを実行する。イベントの実行は上述の通り、例えば音源の再生である。音源の再生は、例えば、情報処理装置３０から提供された音源を、情報処理端末２０に附属するスピーカ、イヤホン、または他のスピーカから出力することによって実行される。開始条件が満足される場合に音源の再生等のイベントを実行することにより、イベントを用いた演出を行うことが可能となる。
なお、本実施形態では、音源の提供において、ＯＳＣ（Ｏｐｅｎ Ｓｏｕｎｄ Ｃｏｎｔｒｏｌ）のプロトコルを用いるようにしてもよい。イベント実行部２６においてＯＳＣのプロトコルを用いることにより、音源の提供をリアルタイムで実行することが可能となる。例えば、音源がライブ音源である場合、ＯＳＣのプロトコルを用いることにより、複数の情報処理端末２０においてライブ音源をリアルタイムで共有することが可能となる。また、本実施形態では、音源の提供において、立体音響を実現するための音源フォーマット（例えば、Ａｍｂｉｓｏｎｉｃｓ）を用いてもよい。イベント実行部２６において立体音響を実現するための音源フォーマットを用いることにより、容易に立体音響の音源を提供することが可能となる。また、本実施形態では、音源の提供において、ゲーム開発用のプラットフォーム（例えば、Ｗｗｉｓｅ等）を用いてもよい。イベント実行部２６においてゲーム開発用のプラットフォームを用いることにより、ゲームにおけるイベントの提供を容易にすることができる。また、本実施形態では、音源の提供において、頭部伝達関数（ＨＲＴＦ：Ｈｅａｄ Ｒｅｌａｔｅｄ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）を用いた音源の再生を行ってもよい。頭部伝達関数とは、耳殻、人頭および肩までふくめた周辺物によって生じる音の変化を伝達関数として表現したものである。イベント実行部２６において、頭部伝達関数を用いて音源から両耳までの音の変化の特性を数値化することにより、音源の方向感や音源までの距離感を認識することが可能となる。
アンカー情報記憶部３１は、アンカー配置部１３において配置されたアンカーに係るアンカー情報を記憶する。アンカー情報記憶部３１は、記憶したアンカー情報を情報処理端末２０に提供することができる。
イベント情報記憶部３２は、イベント設定部１５においてイベント配置操作されたイベントの配置情報と、開始条件設定操作において設定された開始条件とを記憶する。イベント情報記憶部３２は、情報処理装置３０の利用者が入力した配置情報または開始条件を記憶する。イベント情報記憶部３２は、記憶した配置情報および開始情報に基づき、情報処理端末２０等においてイベントを実行させることができる。
イベント提供部３３は、イベント情報記憶部３２に記憶された開始条件が満たされたときにイベント記憶部３４に記憶されたイベントを提供する。イベント提供部３３は、予め設定された開始条件に応じて、予め定められたイベントの実行態様においてイベントを提供するようにしてもよい。例えば、イベント提供部３３は、情報処理端末２０の識別情報（予め登録されている利用者の性別、年齢、使用言語、国籍もしくは宗教等の属性情報、または情報処理端末２０から取得される機器情報等）に応じてイベントの実行態様を変更してイベントを提供するようにしてもよい。識別情報は、例えば利用者のアカウント情報に紐付けられて取得されてもよい。イベント実行部２６は、識別情報に応じて変更されたイベントを実行することにより、多様なイベントを実行することが可能となる。
イベント記憶部３４は、複数のイベントをリスト化したイベントリストを記憶してもよい。例えば、イベントが音源の再生である場合、イベントリストは、複数の音源または予め作成されたプレイリストである。イベント記憶部３４に記憶されたイベントは、情報処理端末２０に提供されてイベント実行部２６において再生することができる。なお、イベント記憶部３４に記憶されるイベントとは、音声データまたは画像データ等のコンテンツデータであってもよく、また、コンテンツデータの保存先または取得方法を示す情報等であってもよい。
なお、情報処理システム１が有する上述した各機能部は、機能の一例を示したものであり、情報処理システム１が有する機能を限定したものではない。例えば、情報処理端末１０，情報処理端末２０または情報処理装置３０は、上記全ての機能部を有している必要はなく、一部の機能部を有するものであってもよい。また、情報処理システム１は、上記以外の他の機能を有していてもよい。
例えば、情報処理端末１０が有する機能部は、情報処理装置３０において実現されてもよい。同様に、情報処理端末２０が有する機能部は、情報処理装置３０において実現されてもよい。また、情報処理装置３０が有する機能部は、情報処理端末１０または情報処理端末２０において実現されてもよい。また、情報処理端末１０と情報処理端末２０は一体に形成されてもよい。
また、上記各機能部は、上述の通り、ソフトウェアによって実現されるものとして説明した。しかし上記機能部の中で少なくとも１つ以上の機能部は、ハードウェアによって実現されるものであってもよい。
また、上記何れかの機能部は、１つの機能部を複数の機能部に分割して実施してもよい。また、上記何れか２つ以上の機能部を１つの機能部に集約して実施してもよい。図１は、情報処理システム１が有する機能を機能ブロックで表現したものであり、例えば、各機能部がそれぞれ別個のプログラムファイル等で構成されていることを示すものではない。
また、情報処理端末１０，情報処理端末２０または情報処理装置３０は、１つの筐体によって実現される装置であっても、ネットワーク等を介して接続された複数の装置から実現されるシステムであってもよい。例えば、情報処理端末１０，情報処理端末２０または情報処理装置３０は、その機能の一部または全部をクラウドコンピューティングシステムによって提供されるクラウドサービス等、他の仮想的な装置によって実現するものであってもよい。すなわち、情報処理端末１０，情報処理端末２０または情報処理装置３０は、上記各機能部のうち、少なくとも１以上の機能部を他の装置において実現するようにしてもよい。
次に、図２〜図５を用いて、情報処理端末１０の表示装置の表示例を説明する。以下の実施例においては、アンカーに音源を配置して、情報処理端末２０において音源を再生するイベントを実行する場合を例示する。
図２は、実施形態における情報処理端末において用いられる表示装置の第１の表示例を示す図である。
図２において、表示画面１０００は、表示部１２において表示される。表示画面１０００は、アンカー設定画面を示すアイコン１００１、アンカー設置ボタン１００２、退出ボタン１００３、セーブボタン１００４、プレイリストに名前を付ける命名ボタン１００５を有する。
表示画面１０００は、情報処理端末１０に表示される表示画面であり、情報処理端末１０のカメラで撮影された撮影画像が表示されている。アンカー設置ボタン１００２は、表示画面１０００で表示されている撮影範囲のいずれかにアンカーを設置するためのボタンである。例えば、アンカー設置ボタン１００２を操作することにより、表示画面１０００の中心位置、あるいは表示画面１０００の中で図示しないカーソル位置等にアンカーを設置することができる。利用者は、アンカー設置ボタン１００２を操作することにより、図３で説明するアンカーを配置のための画面に遷移させることができる。
退出ボタン１００３は、表示画面１０００で示す設定を終了するボタンであり、セーブボタン１００４は、現在の設定を保存するボタンである。また、命名ボタン１００５は、プレイリストに名前を付けるためのボタンである。利用者は、命名ボタン１００５を操作することにより、テキストボックス等から名前を入力することが可能となる。
図３は、実施形態における情報処理端末において用いられる表示装置の第２の表示例を示す図である。
図３において、表示画面２０００は、表示部１２において表示される。表示画面２０００は、試し置ボタン２００１を有する。表示画面２０００は、表示画面１０００に表示されている撮影範囲を移動させて、拡大した撮影画像である。試し置ボタン２００１は、アンカーを試し置きするためのボタンである。利用者は、試し置ボタン２００１を操作することにより、表示画面２０００の略中央にアンカーを設置することができる。なお、試し置とは、設置位置を確定する前のアンカーの設置を意味し、利用者は、自身で設置したアンカーとアンカーに設定した音源を試行的に体験することができる。
図４は、実施形態における情報処理端末において用いられる表示装置の第３の表示例を示す図である。
図４において、表示画面１０００は、表示部１２において表示される。表示画面３０００は、アンカー位置修正ボタン３００１、アンカー位置決定ボタン３００２およびアンカー３００３を有する。アンカー位置修正ボタン３００１は、試し置ボタン２００１で設置したアンカー３００３の位置を修正するためボタンである。利用者は、アンカー位置修正ボタン３００１を操作することにより、設置されたアンカー３００３の位置を、奥側または手前側に修正することができる。アンカー３００３の位置を奥側に修正した場合、アンカー３００３の大きさが小さくなって表示され、一方、アンカー３００３の位置を手前側に修正した場合、アンカー３００３の大きさが大きくなって表示される。なお、アンカー３００３の表示サイズは図示しない設定操作によって変更できるようにしてもよい。
アンカー位置決定ボタン３００２は、アンカー３００３の設置位置を決定するためのボタンである。利用者は、アンカー位置決定ボタン３００２を操作することにより、図５で説明するアンカーの設置を終了するための画面に遷移させることができる。
図５は、実施形態における情報処理端末１０において用いられる表示装置の第４の表示例を示す図である。
図５において、表示画面１０００は、表示部１２において表示される。表示画面４０００は、終了ボタン４００１およびアンカー４００２を有する。利用者は、終了ボタン４００１を操作することにより、アンカーの設置を終了する。
次に、図６〜図７を用いて、情報処理端末２０の端末状態について説明する。
図６は、実施形態における情報処理端末の端末状態の第１の例を示す図である。図６は、情報処理端末２０とアンカーの距離および方向が端末状態となる場合において再生態様が異なる場合を説明する。
図６において、アンカー位置Ｏは上述した手順において設置したアンカーの空間における位置である。図示（Ａ）の位置の情報処理端末２０は、アンカー位置Ｏとｘの距離にあり、アンカーを撮影しているものとする。一方、図示（Ｂ）の位置の情報処理端末２０は、アンカー位置Ｏとｙの距離にあり、アンカーを撮影しているものとする。
ここで、情報処理端末２０は、空間をスキャンするセンサにおいて、アンカーを検出して、情報処理端末２０との距離ｘとアンカー位置Ｏの方向に応じた音量と方向の再生態様においてアンカー位置Ｏに配置された音源を再生する。同様に、情報処理端末２０は、空間をスキャンするセンサにおいて、アンカーを検出して、情報処理端末２０との距離ｙとアンカー位置Ｏの方向に応じた音量と方向の再生態様においてアンカー位置Ｏに配置された音源を再生する。
例えば、音源の再生条件が情報処理端末２０とアンカー位置Ｏの距離が「距離ｘ以内」であったとすると、（Ａ）の位置の情報処理端末２０は音源を再生するが、（Ｂ）の情報処理端末２０は音源を再生しない。
図７は、実施形態における情報処理端末の端末状態の第２の例を示す図である。図７は、情報処理端末２０が２台存在する場合の端末状態における再生態様を説明する。図７における情報処理端末２０の端末状態は、情報処理端末２０のアンカーまでの距離および情報処理端末２０からアンカーまでの方向、ならびに、他の情報処理端末２０との位置関係である。
図７において、情報処理端末２０ａと情報処理端末２０ｂの距離はｚである。すなわち、情報処理端末２０ａは、アンカー位置Ｏとの距離がｘ、および情報処理端末２０ｂとの距離がｚの端末状態にあり、情報処理端末２０ｂは、アンカー位置Ｏとの距離がｙ、および情報処理端末２０ａとの距離がｚの端末状態にあるものとする。情報処理端末２０ａと情報処理端末２０ｂの位置関係は、それぞれの情報処理端末２０がアンカー位置Ｏとの位置関係を情報処理装置３０に提供することにより算出される。
図７においては、一の情報処理端末における音源の再生態様が、他の情報処理端末の位置によって決められる場合を例示している。情報処理端末２０ａは、アンカー位置Ｏの音源と、情報処理端末２０ｂを音源とみなした音源の両方を再生態様とした音源の再生が行われるものとする。同様に、情報処理端末２０ｂは、アンカー位置Ｏの音源と、情報処理端末２０ａを音源とみなした音源の両方を再生態様とした音源の再生が行われるものとする。すなわち、情報処理端末２０ａにおける音源の再生態様は、情報処理端末２０ｂとの距離ｚ、および情報処理端末２０ｂの位置によって決定される。同様に、情報処理端末２０ｂにおける音源の再生態様は、情報処理端末２０ａとの距離ｚ、および情報処理端末２０ａの位置によって決定される。
次に、図８を用いて、情報処理端末１０のハードウェア構成を説明する。図８は、実施形態における情報処理端末１０のハードウェア構成の一例を示すブロック図である。なお、情報処理端末２０および情報処理装置３０のハードウェア構成は、情報処理端末１０に準ずるものとして、説明を省略する。
情報処理端末１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０２、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０３、Ｉ／Ｏ機器１０４、および通信Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）１０５を有する。情報処理端末１０は、図１で説明した情報処理プログラムを実行する装置である。
ＣＰＵ１０１は、ＲＡＭ１０２またはＲＯＭ１０３に記憶された情報処理プログラムを実行することにより、利用者端末の制御を行う。情報処理プログラムは、例えば、プログラムを記録した記録媒体、又はネットワークを介したプログラム配信サーバ等から取得されて、ＲＯＭ１０３にインストールされ、ＣＰＵ１０１から読出されて実行される。
Ｉ／Ｏ機器１０４は、操作入力機能と表示機能（操作表示機能）を有する。Ｉ／Ｏ機器１０４は、例えばタッチパネルである。タッチパネルは、情報処理端末１０の利用者に対して指先又はタッチペン等を用いた操作入力を可能にする。本実施形態におけるＩ／Ｏ機器１０４は、操作表示機能を有するタッチパネルを用いる場合を説明するが、Ｉ／Ｏ機器１０４は、表示機能を有する表示装置と操作入力機能を有する操作入力装置とを別個有するものであってもよい。その場合、タッチパネルの表示画面は表示装置の表示画面、タッチパネルの操作は操作入力装置の操作として実施することができる。なお、Ｉ／Ｏ機器１０４は、ヘッドマウント型、メガネ型、腕時計型のディスプレイ等の種々の形態によって実現されてもよい。
通信Ｉ／Ｆ１０５は、通信用のＩ／Ｆである。通信Ｉ／Ｆ１０５は、例えば、無線ＬＡＮ、有線ＬＡＮ、赤外線等の近距離無線通信を実行する。図は通信用のＩ／Ｆとして通信Ｉ／Ｆ１０５のみを図示するが、情報処理端末１０は複数の通信方式においてそれぞれの通信用のＩ／Ｆを有するものであってもよい。
次に、図９〜図１０を用いて、情報処理システム１の動作を説明する。
図９は、実施形態における情報処理システムの動作の第１の例を示すフローチャートである。第１の例で示すフローチャートは、アンカーおよび音源の配置に係る動作を説明している。
図９において、情報処理システム１は、音源設定のためのＵＩを情報処理端末１０の表示画面から提供する（ステップＳ１１）。ステップＳ１１の処理を実行した後、情報処理システム１は、空間をスキャンするセンサにおいてスキャンデータを取得する（ステップＳ１２）。
ステップＳ１２の処理を実行した後、情報処理システム１は、アンカーを配置するか否かを判断する（ステップＳ１３）。アンカーを配置するか否かの判断は、例えば、利用者がアンカー設置の操作を完了したか否かで判断することができる。アンカーを配置しないと判断した場合（ステップＳ１３：ＮＯ）、情報処理システム１は、ステップＳ１２〜ステップＳ１３の処理を繰り返して、アンカーが配置されるのを待機する。
アンカーを配置したと判断した場合（ステップＳ１３：ＹＥＳ）、情報処理システム１は、アンカーの位置を修正するか否かを判断する（ステップＳ１４）。アンカーの位置を修正すると判断した場合（ステップＳ１４：ＹＥＳ）、情報処理システム１は、アンカーの位置を修正する（ステップＳ１５）。
ステップＳ１５の処理を実行した後、またはアンカーの位置を修正しないと判断した場合（ステップＳ１４：ＮＯ）、情報処理システム１は、プレイリストが選択されたか否かを判断する（ステップＳ１６）。プレイリストの選択には、選択されたプレイリストの保存も含まれる。なお、所望するプレイリストが存在しない場合、情報処理システム１は、新たにプレイリストを制作するためのＵＩを提供するようにしてもよい。プレイリストが選択されていないと判断した場合（ステップＳ１６：ＮＯ）、情報処理システム１は、ステップＳ１６の処理を繰り返してプレイリストが選択されるのを待機する。
一方、プレイリストが選択されたと判断した場合（ステップＳ１６：ＹＥＳ）、情報処理システム１は、再生条件を入力するためのＵＩを情報処理端末１０の表示画面から提供する（ステップＳ１７）。ステップＳ１７の処理を実行した後、情報処理システム１は、再生条件の入力が完了したか否かを判断する（ステップＳ１８）。入力が完了していないと判断した場合（ステップＳ１８：ＮＯ）、情報処理システム１は、ステップＳ１８の処理を繰り返して、入力が完了するのを待機する。
一方、再生条件の入力が完了したと判断した場合（ステップＳ１８：ＹＥＳ）、情報処理システム１は、ステップＳステップＳ１３〜ステップＳ１５において入力されたアンカー情報を情報処理端末１０から情報処理装置３０に提供する（ステップＳ１９）。
ステップＳ１９の処理を実行した後、情報処理システム１は、ステップＳ１６〜ステップＳ１８において入力された音源に係る情報を情報処理端末１０から情報処理装置３０に提供する（ステップＳ２０）。
ステップＳ２０の処理が終了したら、情報処理システム１は、ステップＳ１９において提供されたアンカー情報を情報処理装置３０に記憶させる（ステップＳ２１）。ステップＳ２１の処理が終了した後、情報処理システム１は、ステップＳ２０において提供された音源情報を情報処理装置３０に記憶して（ステップＳ２２）、フローチャートで示す処理を終了する。
図１０は、実施形態における情報処理システム１の動作の第２の例を示すフローチャートである。第２の例で示すフローチャートは、音源の再生に係る動作を説明している。
図１０において、情報処理システム１は、音源を再生するためのＵＩを、情報処理端末２０の表示画面から提供する（ステップＳ３１）。音源を再生するためのＵＩとは、例えば、空間に配置された音源の再生を楽しむＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）アプリケーションプログラムである。
ステップＳ３２の処理を実行した後、情報処理システム１は、空間をスキャンするセンサにおいてスキャンデータを取得する（ステップＳ３２）。
ステップＳ３２の処理を実行した後、情報処理システム１は、アンカーが検出されたか否かを判断する（ステップＳ３３）。アンカーが検出されていないと判断した場合（ステップＳ３３：ＮＯ）、情報処理システム１は、ステップＳ３２〜ステップＳ３３の処理を繰り返して、アンカーが検出されるのを待機する。
一方、アンカーが検出されたと判断した場合（ステップＳ３３：ＹＥＳ）、情報処理システム１は、検出したアンカーを情報処理端末２０の表示画面に表示させる（ステップＳ３４）。
ステップＳ３４の処理を実行した後、情報処理システム１は、再生条件が満足されたか否かを判断する（ステップＳ３５）。再生条件が満足されたか否かは、例えば、情報処理端末２０が再生条件情報を情報処理装置３０から取得したか否かで判断することができる。再生条件が満足されていないと判断した場合（ステップＳ３５：ＮＯ）、情報処理システム１は、ステップＳ３２〜ステップＳ３５の処理を繰り返して、再生条件が満足されるのを待機する。
一方、再生条件が満足されたと判断した場合（ステップＳ３５：ＹＥＳ）、情報処理システム１は、音源の再生を開始する（ステップＳ３６）。音源の再生は、情報処理端末２０が、情報処理装置３０から取得した音源を再生することにより実行することができる。
ステップＳ３６の処理を実行した後、情報処理システム１は、端末状態を確認する（ステップＳ３７）。端末状態は、上述の通り、情報処理端末２０の位置、情報処理端末２０の撮影範囲等である。ステップＳ３６の処理を実行した後、情報処理システム１は、再生態様を変化させる（ステップＳ３８）。例えば、情報処理システム１は、情報処理端末２０がアンカーに近付いている場合、音源の再生音量を上げるように再生態様を変化させる。端末状態に応じた再生態様は、予め設定しておくことができる。また、端末状態に応じた再生態様は、ランダムに変更するようにしてもよい。
ステップＳ３８の処理を実行した後、情報処理システム１は、再生を終了するか否かを判断する（ステップＳ３９）。再生を終了するか否かは、例えば、端末状態が再生条件を満足しなくなった場合、予め用意された音源の再生が終了した場合、または利用者による明示的な再生停止操作等である。再生を終了しないと判断した場合（ステップＳ３９：ＮＯ）、情報処理システム１は、ステップＳ３７〜ステップＳ３９の処理を繰り返して、再生が終了するのを待機する。一方、再生を終了すると判断した場合（ステップＳ３９：ＹＥＳ）、情報処理システム１は、フローチャートに示した動作を終了する。
なお、図示したフローチャートは、動作の一例を示したものであり、動作を限定するものではない。
なお、本実施形態で説明した装置を構成する機能を実現するためのプログラムを、コンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、本実施形態の上述した種々の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組合せで実現するもの、いわゆる差分ファイル（差分プログラム）であっても良い。
以上、本発明の実施形態について、図面を参照して説明してきたが、具体的な構成はこの実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲においての種々の変更も含まれる。
１ 情報処理システム
１０ 情報処理端末
１１ 取得部
１２ 表示部
１３ アンカー配置部
１４ アンカー情報提供部
１５ イベント設定部
１６ イベント情報提供部
２０ 情報処理端末
２０ａ 情報処理端末
２０ｂ 情報処理端末
２１ 取得部
２２ 表示部
２３ 検出部
２４ スキャンデータ提供部
２５ イベント情報取得部
２６ イベント実行部
３０ 情報処理装置
３１ アンカー情報記憶部
３２ イベント情報記憶部
３３ イベント提供部
３４ イベント記憶部
１０１ ＣＰＵ
１０２ ＲＡＭ
１０３ ＲＯＭ
１０４ Ｉ／Ｏ機器
１０５ 通信Ｉ／Ｆ
１０００ 表示画面
１００１ アイコン
１００２ アンカー設置ボタン
１００３ 退出ボタン
１００４ セーブボタン
１００５ 命名ボタン１００５
２０００ 表示画面
２００１ 試し置ボタン
３０００ 表示画面
３００１ アンカー位置修正ボタン
３００２ アンカー位置決定ボタン
３００３ アンカー
４０００ 表示画面
４００１ 終了ボタン

Claims (9)

  1. 空間をスキャンするセンサにおいてスキャンされたスキャンデータを取得する取得部と、
    カメラにおいて撮影された撮影画像を表示器に表示する表示部と、
    前記取得部において取得されたスキャンデータに基づき、前記表示部において表示された撮影画像に仮想的なアンカーを配置する操作を利用者に提供するアンカー配置部と、
    前記アンカー配置部において配置された前記アンカーに係るアンカー情報を記憶するアンカー情報記憶部と、
    前記アンカー情報記憶部に記憶された前記アンカー情報に対してイベントを対応付けて配置させるイベント配置操作と、前記イベント配置操作において配置されたイベントを開始させるための開始条件を設定する開始条件設定操作と、を利用者に提供するイベント設定部と、
    前記イベント配置操作において配置されたイベントの配置情報と、前記開始条件設定操作において設定された開始条件とを記憶するイベント情報記憶部と、
    イベントを記憶するイベント記憶部と、
    前記イベント情報記憶部に記憶された開始条件が満たされたときに前記イベント記憶部に記憶されたイベントを提供するイベント提供部と
    を備える、情報処理システム。
  2. 前記イベント設定部は、前記アンカー情報に対して音源を対応付けて配置させるイベント配置操作と、前記イベント配置操作において配置された音源の再生を開始させるための開始条件を設定する開始条件設定操作と、を利用者に提供し、
    前記イベント記憶部は、音源を記憶し、
    前記イベント提供部は、前記開始条件が満たされたときに前記イベント記憶部に記憶された音源を提供する、請求項１に記載の情報処理システム。
  3. 前記アンカー配置部は、前記アンカーを配置する位置を前記表示部において表示された前記撮影画像を用いて修正する操作を利用者にさらに提供する、請求項１または２に記載の情報処理システム。
  4. 前記イベント設定部は、イベントが実行される端末と前記アンカーまでの距離を前記開始条件として設定する操作を利用者に提供する、請求項１から３のいずれか一項に記載の情報処理システム。
  5. 前記取得部は、空間をスキャンするセンサにおいて測距された測距データを取得する、
    請求項１から４のいずれか一項に記載の情報処理システム。
  6. 前記取得部は、ＬＩＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ、Ｌａｓｅｒ Ｉｍａｇｉｎｇ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）技術を用いたセンサにおいて測距された測距データを取得する、請求項５に記載の情報処理システム。
  7. 空間をスキャンするセンサにおいてスキャンされたスキャンデータを取得する取得部と、
    カメラにおいて撮影された撮影画像を表示器に表示する表示部と、
    前記取得部において取得されたスキャンデータに基づき、前記表示部において表示された撮影画像に仮想的なアンカーを配置する操作を利用者に提供するアンカー配置部と、
    前記アンカー配置部において配置された前記アンカーに係るアンカー情報を情報処理装置に提供するアンカー情報提供部と、
    前記情報処理装置に提供された前記アンカー情報に対してイベントを対応付けて配置させるイベント配置操作と、前記イベント配置操作において配置されたイベントを開始させるための開始条件を設定する開始条件設定操作と、を利用者に提供するイベント設定部と、
    前記イベント配置操作において配置されたイベントの配置情報と、前記開始条件設定操作において設定された開始条件とを前記情報処理装置に提供するイベント情報提供部と、
    を備える、情報処理端末。
  8. 空間をスキャンするセンサにおいてスキャンされたスキャンデータを取得する取得ステップと、
    カメラにおいて撮影された撮影画像を表示器に表示する表示ステップと、
    前記取得ステップにおいて取得されたスキャンデータに基づき、前記表示ステップにおいて表示された撮影画像に仮想的なアンカーを配置する操作を利用者に提供するアンカー配置ステップと、
    前記アンカー配置ステップにおいて配置された前記アンカーに係るアンカー情報を記憶するアンカー情報記憶ステップと、
    前記アンカー情報記憶ステップにおいて記憶された前記アンカー情報に対してイベントを対応付けて配置させるイベント配置操作と、前記イベント配置操作において配置されたイベントを開始させるための開始条件を設定する開始条件設定操作と、を利用者に提供するイベント設定ステップと、
    前記イベント配置操作において配置されたイベントの配置情報と、前記開始条件設定操作において設定された開始条件とを記憶するイベント情報記憶ステップと、
    イベントを記憶するイベント記憶ステップと、
    前記イベント情報記憶ステップにおいて記憶された開始条件が満たされたときに前記イベント記憶ステップにおいて記憶されたイベントを提供するイベント提供ステップと
    を含む、情報処理方法。
  9. コンピュータに、
    空間をスキャンするセンサにおいてスキャンされたスキャンデータを取得する取得処理と、
    カメラにおいて撮影された撮影画像を表示器に表示する表示処理と、
    前記取得処理において取得されたスキャンデータに基づき、前記表示処理において表示された撮影画像に仮想的なアンカーを配置する操作を利用者に提供するアンカー配置処理と、
    前記アンカー配置処理において配置された前記アンカーに係るアンカー情報を記憶するアンカー情報記憶処理と、
    前記アンカー情報記憶処理において記憶された前記アンカー情報に対してイベントを対応付けて配置させるイベント配置操作と、前記イベント配置操作において配置されたイベントを開始させるための開始条件を設定する開始条件設定操作と、を利用者に提供するイベント設定処理と、
    前記イベント配置操作において配置されたイベントの配置情報と、前記開始条件設定操作において設定された開始条件とを記憶するイベント情報記憶処理と、
    イベントを記憶するイベント記憶処理と、
    前記イベント情報記憶処理において記憶された開始条件が満たされたときに前記イベント記憶処理において記憶されたイベントを提供するイベント提供処理と
    を実行させるための、情報処理プログラム。
JP2020210740A 2020-12-18 2020-12-18 情報処理システム、情報処理方法および情報処理プログラム Active JP6975489B1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2020210740A JP6975489B1 (ja) 2020-12-18 2020-12-18 情報処理システム、情報処理方法および情報処理プログラム
JP2021177791A JP7602098B2 (ja) 2020-12-18 2021-10-29 情報処理システム、情報処理方法および情報処理プログラム
CN202180085733.8A CN116635930A (zh) 2020-12-18 2021-12-16 信息处理系统、信息处理方法以及信息处理程序
PCT/JP2021/046633 WO2022131347A1 (ja) 2020-12-18 2021-12-16 情報処理システム、情報処理方法および情報処理プログラム
US18/336,926 US20230334799A1 (en) 2020-12-18 2023-06-16 Information processing system, information processing method, and information processing program
JP2024113702A JP2024147696A (ja) 2020-12-18 2024-07-16 情報処理システム、情報処理方法および情報処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020210740A JP6975489B1 (ja) 2020-12-18 2020-12-18 情報処理システム、情報処理方法および情報処理プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021177791A Division JP7602098B2 (ja) 2020-12-18 2021-10-29 情報処理システム、情報処理方法および情報処理プログラム

Publications (2)

Publication Number Publication Date
JP6975489B1 true JP6975489B1 (ja) 2021-12-01
JP2022097263A JP2022097263A (ja) 2022-06-30

Family

ID=78766830

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2020210740A Active JP6975489B1 (ja) 2020-12-18 2020-12-18 情報処理システム、情報処理方法および情報処理プログラム
JP2021177791A Active JP7602098B2 (ja) 2020-12-18 2021-10-29 情報処理システム、情報処理方法および情報処理プログラム
JP2024113702A Pending JP2024147696A (ja) 2020-12-18 2024-07-16 情報処理システム、情報処理方法および情報処理プログラム

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2021177791A Active JP7602098B2 (ja) 2020-12-18 2021-10-29 情報処理システム、情報処理方法および情報処理プログラム
JP2024113702A Pending JP2024147696A (ja) 2020-12-18 2024-07-16 情報処理システム、情報処理方法および情報処理プログラム

Country Status (4)

Country Link
US (1) US20230334799A1 (ja)
JP (3) JP6975489B1 (ja)
CN (1) CN116635930A (ja)
WO (1) WO2022131347A1 (ja)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4253567B2 (ja) 2003-03-28 2009-04-15 オリンパス株式会社 データオーサリング処理装置
WO2016017253A1 (ja) * 2014-08-01 2016-02-04 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
US10360734B2 (en) * 2017-05-05 2019-07-23 Unity IPR ApS Contextual applications in a mixed reality environment
CN111033606A (zh) * 2017-08-31 2020-04-17 索尼公司 信息处理装置、信息处理方法和程序
WO2019111465A1 (ja) * 2017-12-04 2019-06-13 ソニー株式会社 情報処理装置、情報処理方法、および記録媒体
JP7313361B2 (ja) * 2018-02-15 2023-07-24 マジック リープ， インコーポレイテッド 複合現実楽器
JP7116424B2 (ja) * 2019-03-06 2022-08-10 Kddi株式会社 画像に応じて音オブジェクトを混合するプログラム、装置及び方法

Also Published As

Publication number Publication date
JP7602098B2 (ja) 2024-12-18
JP2022097382A (ja) 2022-06-30
JP2022097263A (ja) 2022-06-30
WO2022131347A1 (ja) 2022-06-23
US20230334799A1 (en) 2023-10-19
CN116635930A (zh) 2023-08-22
JP2024147696A (ja) 2024-10-16

Similar Documents

Publication Publication Date Title
CN113806036B (zh) 虚拟内容的输出
TWI782332B (zh) 一種擴增實境資料呈現方法、設備及儲存媒體
US11528576B2 (en) Distributed audio capturing techniques for virtual reality (VR), augmented reality (AR), and mixed reality (MR) systems
WO2019184889A1 (zh) 增强现实模型的调整方法、装置、存储介质和电子设备
US20150215722A1 (en) Audio speaker system with virtual music performance
CN113692604A (zh) 用于使用增强现实来显示周围信息的方法和装置
US9774978B2 (en) Position determination apparatus, audio apparatus, position determination method, and program
JP2020520576A5 (ja)
JP2025069438A (ja) 情報処理システム、情報処理方法および情報処理プログラム
CN111338474A (zh) 虚拟对象位姿校准方法及装置、存储介质和电子设备
JP6975489B1 (ja) 情報処理システム、情報処理方法および情報処理プログラム
US11527046B2 (en) Real world beacons indicating virtual locations
CN112788443B (zh) 基于光通信装置的交互方法和系统
JP6792666B2 (ja) 端末装置、端末装置の制御方法、コンピュータプログラム
KR20220122992A (ko) 신호 처리 장치 및 방법, 음향 재생 장치, 그리고 프로그램
KR101939530B1 (ko) 지형정보 인식을 기반으로 증강현실 오브젝트를 표시하는 방법 및 그 장치
JP7370461B2 (ja) メディアデータを再生する方法、装置、システム、デバイス、および記憶媒体
KR20140132452A (ko) 이미지를 보정하는 전자 장치 및 그 제어 방법
EP4436190A1 (en) Display terminal, communication system, and method for displaying
HK40065618B (en) Audio processing method and apparatus, device, and storage medium
KR20230164491A (ko) 음향 기반 가상현실 서비스 제공 시스템 및 이를 이용한 가상현실 서비스 제공 방법
CN119268665A (zh) 路线处理方法、终端设备及存储介质
KR20210138357A (ko) 현실 인식을 이용한 콘텐츠 재생 방법과 시스템
KR20190006584A (ko) 지형정보 인식을 기반으로 증강현실 오브젝트를 표시하는 방법 및 그 장치
KR20180096940A (ko) 전자 장치 및 그 제어 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210510

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20210510

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210810

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210917

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211005

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211029

R150 Certificate of patent or registration of utility model

Ref document number: 6975489

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250