JP6062251B2 - 情報処理装置、情報処理方法、携帯端末、およびサーバ - Google Patents

情報処理装置、情報処理方法、携帯端末、およびサーバ Download PDF

Info

Publication number
JP6062251B2
JP6062251B2 JP2013003282A JP2013003282A JP6062251B2 JP 6062251 B2 JP6062251 B2 JP 6062251B2 JP 2013003282 A JP2013003282 A JP 2013003282A JP 2013003282 A JP2013003282 A JP 2013003282A JP 6062251 B2 JP6062251 B2 JP 6062251B2
Authority
JP
Japan
Prior art keywords
motion data
user
unit
acquired
mobile terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013003282A
Other languages
English (en)
Other versions
JP2014135000A (ja
Inventor
和由 堀江
和由 堀江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Interactive Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment Inc filed Critical Sony Interactive Entertainment Inc
Priority to JP2013003282A priority Critical patent/JP6062251B2/ja
Priority to US14/141,561 priority patent/US10291727B2/en
Publication of JP2014135000A publication Critical patent/JP2014135000A/ja
Application granted granted Critical
Publication of JP6062251B2 publication Critical patent/JP6062251B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/52Network services specially adapted for the location of the user terminal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/10Office automation; Time management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01Social networking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/02Details
    • H04L12/16Arrangements for providing special services to substations
    • H04L12/18Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1818Conference organisation arrangements, e.g. handling schedules, setting up parameters needed by nodes to attend a conference, booking network resources, notifying involved parties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/52User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail for supporting social networking services

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Physics & Mathematics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Telephonic Communication Services (AREA)
  • Information Transfer Between Computers (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、情報処理装置および情報処理装置で実行される情報処理方法に関し、情報処理装置として特に携帯端末およびサーバに関する。
近年、人と人とのつながりを促進するためのSNS(Social Network Service;ソーシャルネットワークサービス)と呼ばれる仕組みが爆発的に普及し、様々な仕組みが提供されている。このようなソーシャルネットワークサービスは、ユーザの位置情報を利用して、そのユーザの近くにいる他のユーザとのつながりを追加する機能持つことが多い。このような機能の一例として、例えば、自身のQRコード(登録商標)を画面に表示し、それを読み取らせ、ソーシャルネットワークサービスにおける友達として追加する機能が存在する。また、各ユーザ利用するスマートフォンに動きを加えることで、友達として追加する機能を持つソーシャルネットワークサービスも存在する。さらには、ユーザがある場所にいることをSNS上で知らせる、いわゆる「チェックイン」を行う場合も、スマートフォンを操作することで実現されている。
実際に人と人とが友達になるという状況においては、ソーシャルネットワークサービスにおいて友達登録する上でスマートフォンに表示させたコードを読み取りあったり、スマートフォンを振ったりするという動作は、あまり自然な動作とはいない。また手間もかかる動作ともいえる。上述のチェックインをする場合にも、チェックインしようとするユーザが他人と一緒にいたり、急いでいたりするような場合には、スマートフォンを操作するというのは煩雑である。ソーシャルネットワークシステムにおける操作を限られた時間内における自然な動作で実現できれば、ソーシャルネットワークシステムを利用するユーザの利便性を向上できると考えられる。
本発明はこうした課題に鑑みてなされたものであり、その目的は、ソーシャルネットワークシステムにおける操作を支援する技術を提供することにある。
上記課題を解決するために、本発明のある態様は情報処理装置である。この装置は、ユーザの動きデータを取得する動きデータ取得部と、前記動きデータ取得部が取得した動きデータと、比較用動きデータとを比較する動きデータ比較部と、前記動きデータ比較部の比較結果をもとに、前記ユーザが利用するソーシャルネットワークサービスに対して所定の操作を実行する操作実行部とを含む。
本発明の別の態様は、携帯端末である。この携帯端末は、第1ユーザに装着自在に構成され当該ユーザの動きデータを測定する測定部と、第1ユーザが利用するソーシャルネットワークサービスと同じサービスを利用する第2ユーザに取り付けられて第2ユーザの動きを測定した動きデータを、アドホックネットワークを介して取得するアドホック通信部と、前記測定部がデータを測定した時刻と、前記アドホック通信部が取得した第2ユーザの動きデータに関連づけられている時刻との時間差を取得する時間間隔取得部と、前記時間間隔取得部が取得した時間差が所定の時間間隔以内の場合、第1ユーザの動きデータと第2ユーザの動きデータとが類似するか否かを取得する動きデータ比較部と、第1ユーザの動きデータと第2ユーザの動きデータとが類似する場合、第1ユーザと第2ユーザとが共通に利用するソーシャルネットワークサービスに対して所定の操作を実行する操作実行部とを含む。
本発明のさらに別の態様は、少なくとも2以上のユーザそれぞれが所持する2以上の携帯端末とネットワークを介して通信可能なサーバである。このサーバは、2以上の携帯端末がそれぞれ測定したユーザの動きデータを取得する動きデータ取得部と、異なる2人のユーザの動きデータの測定時刻との時間間隔を取得する時間間隔取得部と、前記異なる2人のユーザの所在位置の間の距離を取得する距離取得部と、前記時間間隔取得部が取得した時間間隔が所定の時間間隔以内であり、かつ前記距離取得部が取得した距離が所定の距離以内の場合、前記異なる2人のユーザの動きデータが類似するか否かを取得する動きデータ比較部と、前記異なる2人のユーザの動きデータが類似する場合、前記異なる2人のユーザが共通に利用するソーシャルネットワークサービスに対して所定の操作を実行する操作実行部とを含む。
本発明のさらに別の態様は、情報処理方法である。この方法は、ユーザの動きデータを取得するステップと、取得した動きデータと、比較用動きデータとを比較するステップと、比較結果をもとに、前記ユーザが利用するソーシャルネットワークサービスに対して所定の操作を実行するステップとをプロセッサに実行させる。
本発明のさらに別の態様は、上記の方法の各ステップをコンピュータに実現させるプログラムである。
このプログラムは、ビデオやオーディオ、ゲーム機器、スマートフォン、腕時計等のハードウェア資源の基本的な制御を行なうために機器に組み込まれるファームウェアの一部として提供されてもよい。このファームウェアは、たとえば、機器内のROM(Read Only Memory)やフラッシュメモリなどの半導体メモリに格納される。このファームウェアを提供するため、あるいはファームウェアの一部をアップデートするために、このプログラムを記録したコンピュータ読み取り可能な記録媒体が提供されてもよく、また、このプログラムが通信回線で伝送されてもよい。
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。
本発明によれば、ソーシャルネットワークシステムにおける操作を支援する技術を提供することができる。
実施の形態に係るソーシャルネットワークシステムの全体構成の概観を模式的に示す図である。 実施の形態に係る携帯端末の内部構成を模式的に示す図である。 実施の形態に係る携帯端末の外観の一例を模式的に示す図である。 実施の形態に係る動きデータ取得部の機能構成を模式的に示す図である。 実施の形態に係る加速度センサと音情報取得部が取得したデータの形状の一例を模式的に示す図である。 実施の形態に係る動きデータ比較部の内部構成を模式的に示す図である。 実施の形態に係るソーシャルネットワークシステムにおける情報処理の流れを説明するシーケンス図である。 実施の形態に係るサーバの内部構成を模式的に示す図である。 実施の形態に係る測定部の内部構成を模式的に示す図である。 実施の形態に係る動きデータ比較部の内部構成を模式的に示す図である。 実施の形態に係るソーシャルネットワークシステムにおける情報処理の流れを説明する別のシーケンス図である。 実施の形態に係るソーシャルネットワークシステムにおける情報処理の流れを説明するさらに別のシーケンス図である。 実施の形態に係る比較用の動きデータを格納した比較用データベースのデータ構造を模式的に示す図である。 実施の形態に係る動きデータのパターンの組み合わせを格納した組み合わせパターンデータベースのデータ構造を模式的に示す図である。
図1は、実施の形態に係るソーシャルネットワークシステム100の全体構成の概観を模式的に示す図である。図1を参照して、実施の形態に係るソーシャルネットワークシステム100の概要を述べる。
実施の形態に係るソーシャルネットワークシステム100は、携帯端末200と総称する携帯端末200a、200b、および200cと、ネットワーク500を介して携帯端末200と通信可能に接続するサーバ300と、SNSデータベース400とを含む。なお、図1においては3つの携帯端末200a、200b、および200cを図示しているが、ソーシャルネットワークシステム100が含む携帯端末の数は3つに限られず、3つよりも多くても少なくてもよい。
実施の形態に係るソーシャルネットワークシステム100は、クラウドコンピューティング技術を用いて実現される。ソーシャルネットワークシステム100は、ネットワーク500を介してアプリケーションやストレージの提供等のソーシャルネットワークサービスをオンデマンドで提供する。ソーシャルネットワークシステム100からサービスの提供を受けている携帯端末200を利用するユーザの立場から見ると、サービスの提供を受ける上でソーシャルネットワークシステム100の物理構成やソフトウェア構成等を理解する必要はなく、あたかもネットワークの雲(Cloud;クラウド)の中から出てきたサービスを利用するかのような印象を受ける。
携帯端末200は、ほとんどの場合CPU(Central Processing Unit)等の計算リソースを持っており、アプリケーションの少なくとも一部を携帯端末200のローカルな環境で実行することも可能である。しかしながら、携帯端末200を利用するユーザにとっては、アプリケーションがローカルな計算リソースで実行されるか、あるいはネットワーク上のソーシャルネットワークシステム100の計算リソースで実行されるかは重要な問題ではなく、サービスを利用できるという点では同じである。したがって、本明細書において、「ソーシャルネットワークシステムの計算リソース」あるいは単に「計算リソース」という場合、携帯端末200の計算リソースとソーシャルネットワークシステム100のサーバ300等の計算リソースとの少なくともいずれか一方を意味することとする。
図1において、ユーザAが携帯端末200aを持ち、ユーザAとは異なるユーザBが携帯端末200bを持っているとする。ユーザAとユーザBとが対面し、挨拶をするとともに握手をすると、携帯端末200aと携帯端末200bはそれぞれ、ユーザAまたはユーザBが発した音声情報を契機として、ユーザAの動きデータとユーザBの動きデータとを取得する。
ソーシャルネットワークシステム100の計算リソースは、取得したユーザAの動きデータとユーザBの動きデータとが類似するか否かを比較する。比較の結果、ユーザAとユーザBとの動きデータが類似する場合、計算リソースは、ユーザAとユーザBとが共通に利用するソーシャルネットワークサービスに対して所定の操作を実行する。
ユーザAとユーザBとが握手をした場合、そのときのユーザAとユーザBとの手部の動きは類似すると考えられる。このため、上記比較の結果ユーザAの動きデータとユーザBの動きデータとが類似する場合、ユーザAとユーザBとが対面した蓋然性が高いと判断できる。そこで、計算リソースは、ユーザAとユーザBとが共通に利用するソーシャルネットワークサービスにおいて、例えばユーザAとユーザBとの関係を結びつける操作、いわゆる「友達登録」の操作を実行する。これにより、ユーザAとユーザBとは、携帯端末200を操作することなく、挨拶や握手といった自然な動作の中でソーシャルネットワークサービスの操作を実現することができる。
以下、異なる携帯端末200同士が互いに近距離に存在する場合に、無線アドホックネットワークを構築してアドホック通信をする場合を前提に説明する。
図2は、実施の形態に係る携帯端末200の内部構成を模式的に示す図である。実施の形態に係る携帯端末200は、動きデータ取得部210と動きデータ解析部220とを含む。
動きデータ取得部210は、携帯端末200を所持するユーザの動きデータを取得する。また動きデータ取得部210は、携帯端末200とアドホックネットワークを介して通信する他の携帯端末200から、その携帯端末200を所持する他のユーザの動きデータも取得する。動きデータ取得部210は、例えば既知の低g加速度センサや無線通信モジュールを用いて実現できる。以下説明の便宜のため、携帯端末200を所持するユーザを「第1ユーザ」と記載し、アドホックネットワークを介して通信する他の携帯端末200を所持する他のユーザを「第2ユーザ」と記載する。なお、動きデータ取得部210の詳細は後述する。
動きデータ解析部220は、動きデータ取得部210が取得した2人のユーザの動きデータを解析する。動きデータ解析部220は、解析結果をもとに、2人のユーザが共通に利用するソーシャルネットワークサービスにおける所定の操作を実行する。このため、動きデータ解析部220は、時間間隔取得部230、動きデータ比較部240、修正動作検出部250、および操作実行部260を含む。
時間間隔取得部230は、動きデータ取得部210が取得した2人のユーザの動きデータそれぞれに関連づけられた時刻の時間間隔を取得する。ここで、「動きデータに関連づけられた時刻」とは、例えば動きデータを格納するファイルのヘッダにメタデータとして格納されるタイムスタンプである。「動きデータに関連づけられた時刻」の詳細は、後述する動きデータ取得部210の説明の中で記載する。
動きデータ比較部240は、動きデータ取得部210が取得した2人のユーザの動きデータが類似するか否かを比較する。動きデータ比較部240は、時間間隔取得部230が取得した時間間隔が所定の時間間隔以内の場合、2人のユーザの動きデータが類似するか否かを取得してもよい。ここで「所定の時間間隔」とは、第1ユーザと第2ユーザとが実際に対面したか否かを判断するために定められた対面判断の基準間隔である。対面判断の基準間隔は、実行するソーシャルネットワークサービスの操作の種類等を考慮して実験により定めればよいが、例えば3分である。
第1ユーザと第2ユーザとが実際に対面した場合、2人のユーザの動きデータのタイムスタンプは近い時刻となると考えられる。このため、第1ユーザの動きデータのタイムスタンプと、第2ユーザの動きデータのタイムスタンプとの間隔が対面判断の基準間隔よりも開いていると、第1ユーザと第2ユーザとが実際に対面した可能性は低いと考えられる。そこで動きデータ比較部240は、時間間隔取得部230が取得した時間間隔が所定の時間間隔以内の場合、2人のユーザの動きデータが類似するか否かを比較することで、計算リソースの負荷や通信コストを抑制することが可能となる。また、携帯端末200の電力消費も抑制できる。
操作実行部260は、動きデータ比較部240の比較結果をもとに、その2人のユーザが利用するソーシャルネットワークサービスに対して所定の操作を実行する。より具体的には、操作実行部260は、第1ユーザの動きデータと第2ユーザの動きデータとが類似する場合、その2人のユーザが共通に利用するソーシャルネットワークサービスに対して所定の操作を実行する。より具体的には、操作実行部260はネットワーク500を介してサーバ300に対し、操作の実行を指示する。サーバ300は、操作実行部260の指示にしたがって、SNSデータベース400内の第1ユーザと第2ユーザとに関するグラフデータを更新する。修正動作検出部250は、操作実行部260がした操作に修正を加えることを第1ユーザが望む場合に、第1ユーザが操作実行部260による操作を修正するか否かを決定するために定められた操作修正動作をしたかどうかを検出する。修正動作については後述する。
このように、実施の形態に係る携帯端末200は、携帯端末200を利用するユーザの動きを検出するが、人と人との関わりの中で人間がする動作は多様である。上述した握手もその一例であり、その他、ハイタッチやハグ、お辞儀や発話、首をかしげる等、様々な種類があげられる。実施の形態に係る動きデータ取得部210が取得する動きデータは、ユーザのどのような動きをデータ化したものでもよいが、以下一例として、動きデータとしてユーザの手部の動きをデータ化する場合につて説明する。
図3は、実施の形態に係る携帯端末200の外観の一例を模式的に示す図である。図3に示す例では、携帯端末200はスマートフォン202とリストバンド型の測定部212とを含む。ユーザの手部の動きをデータ化の精度を高めるために、測定部212はスマートフォン202と独立して、ユーザの手首に装着自在に構成されている。なお、測定部212の存在位置はリストバンドに限られず、ユーザに装着されてユーザの動きを計測できるものであればどこでもよく、例えばメガネやネックレス、ヘアアクセサリ等があげられる。
図4は、実施の形態に係る動きデータ取得部210の内部構成を模式的に示す図である。動きデータ取得部210は、ユーザの手首に装着されるリストバンド型の測定部212と、スマートフォン202に含まれる近距離通信部214、記録部216、およびタイムスタンプ付与部218を含む。このように、動きデータ取得部210は上述のスマートフォン202とリストバンド型の測定部212とにまたがって存在し、近距離無線通信を用いてデータを送受信する。
測定部212は、ユーザの手部の動きデータを測定してスマートフォン202に送信したり、スマートフォン202から取得した情報をユーザに通知したりする。このため測定部212は、送受信部270、加速度センサ272、音情報取得部274、および通知部276を含む。
加速度センサ272は、ユーザの手部の動きデータを加速度データとして取得する。音情報取得部274は、第1ユーザや第2ユーザの発話を含む測定部212の周囲の音情報を波形データとして取得する。音情報取得部274は、既知のマイクロフォンを用いて実現できる。
送受信部270は、加速度センサ272が取得した動きデータや音情報取得部274が取得した波形データを、スマートフォン202に含まれる近距離通信部214に無線送信する。送受信部270はまた、スマートフォン202に含まれる近距離通信部214を介して、動きデータ解析部220から情報を取得する。ここで動きデータ解析部220から取得する情報の一例としては、例えば動きデータ比較部240による第1ユーザと第2ユーザとの動きデータの比較結果が非類似であったことを示す情報である。
通知部276は、送受信部270を介して動きデータ解析部220から取得した情報に応じて定められた通知態様で通知する。具体的には、通知部276は図示しないLEDを点滅させたり、ビープ音を発生させたりする。これにより、ユーザに握手をし直す必要がある等の気づきを与えることが可能となる。
スマートフォン202内の近距離通信部214は、測定部212内の送受信部270から無線送信された動きデータや波形データを記録部216に格納する。このときタイムスタンプ付与部218は図示しない時計を含み、加速度センサ272や音情報取得部274がデータを取得した時刻を、そのデータと関連づけて記録部216に格納する。記録部216は、近距離通信部214から取得したデータの他、測定部212内の通知部276に通知する情報も格納する。
アドホック通信部280は、第1ユーザが利用するソーシャルネットワークサービスと同じサービスを利用する第2ユーザが利用する携帯端末200が近距離に存在する場合、その携帯端末とアドホックネットワークを構築する。アドホック通信部280は、第2ユーザが利用する携帯端末200に取り付けられて、その第2ユーザの動きを測定した動きデータを、アドホックネットワークを介して取得する。
一般に、第1ユーザが利用する携帯端末200内の時計と、第2ユーザが利用する携帯端末200内の時計とが同期している保証はない。いずれか、あるいは両方の時計が進んでいたり遅れたりしている場合もあるし、両者の時計のタイムゾーンが異なることもあり得る。そこで、タイムスタンプ付与部218は、アドホック通信部280が第2ユーザの動きデータを取得したときの時刻を、第2ユーザの動きデータに関連づけて記録部216に格納する。
これにより、第1ユーザの動きデータに関連づけられた時刻と、第2ユーザの動きデータに関連づけた時刻とは、ともに同じタイムスタンプ付与部218が付与した時刻となる。この結果、上述した時間間隔取得部230は、加速度センサ272が第1ユーザの動きデータを取得した時刻と、アドホック通信部280がアドホックネットワークを介して第2ユーザの動きデータを取得したときの時刻との時間差を取得することになる。これにより、仮に第1ユーザが利用する携帯端末200内の時計と、第2ユーザが利用する携帯端末200内の時計とがずれていたとしても、上述した動きデータ比較部240は、第1ユーザの動きデータに関連づけられた時刻と第2ユーザの動きデータに関連づけた時刻とを同じ基準で比較することが可能となる。
ここで、動きデータ比較部240は、音情報取得部274が取得し記録部216に格納された音情報のゲインが所定の閾値を超えることを契機として、第1ユーザの動きデータと第2ユーザの動きデータとを比較してもよい。ここで、「所定の閾値」とは、動きデータ比較部240が第1ユーザの動きデータと第2ユーザの動きデータとを比較するか否かを決定するために定められた音量の基準閾値である。音量の基準閾値は、音情報取得部274の性能等を考慮して実験により定めればよい。
図5は、実施の形態に係る加速度センサ272と音情報取得部274が取得したデータの形状の一例を模式的に示す図である。図5に示す例は、第1ユーザと第2ユーザとが対面して挨拶をしつつ握手をしたときの、両者の動きデータと音データとを示す図である。
この挨拶は、例えば「はじめまして」、「こんにちは」等である。この挨拶は第1ユーザと第2ユーザとのそれぞれが持つ携帯端末200内の音情報取得部274で検出される。ここで、第1ユーザと第2ユーザとはほぼ同時に発話する場合がほとんどであると考えられるため、一般に音情報の波形データから挨拶の内容を音声認識することは難しいと考えられる。そこで、動きデータ比較部240は、音情報取得部274が取得した音情報が音量の基準閾値以上の音声の強度だけを検出すればいい。
図5に示す例では、音情報が音量の基準閾値以上となるTから一定時間Tbefore前の時刻であるTから、音情報が音量の基準閾値以下となるTから一定時間Tafter後の時刻であるTまでの期間を、動作比較期間とする。動きデータ比較部240は、この動作比較期間における第1ユーザの動きデータと第2ユーザの動きデータとが類似するか否かを比較する。
図6は、実施の形態に係る動きデータ比較部240の内部構成を模式的に示す図である。動きデータ比較部は、写像変換部242、閾値処理部244、およびマッチング部246を含む。
写像変換部242は、第1ユーザの動きデータと第2ユーザの動きデータ等、異なる2人のユーザの動きデータを入力として、その2人のユーザの動きデータが類似する場合は、非類似の場合と比較して小さな実数値を出力する。これを実現するために、写像変換部242は、例えばDP(Dynamic Programming)マッチングのアルゴリズムを利用する。以下、DPマッチングのアルゴリズムについて簡単に説明する。
第1ユーザの動きデータを時系列で並べた離散データを要素とするベクトルをベクトルAで表し、第2ユーザの動きデータを時系列で並べた離散データを要素とするベクトルをベクトルBで表す。具体的には、
Figure 0006062251
Figure 0006062251
ここで、I、JはそれぞれベクトルA、Bのデータ長である、また、a、bはそれぞれ、第1ユーザおよび第2ユーザの時刻iおよび時刻jの加速度ベクトルを表している。すなわち、
Figure 0006062251
ここで、x、y、zは、加速度センサ272のx軸、y軸、z軸の値を表す。また、加速度ベクトルaと加速度ベクトルbとのユークリッド距離をd(i,j)とすると次の式(4)のようになる。
Figure 0006062251
ここで、
Figure 0006062251
Figure 0006062251
Figure 0006062251
である。
このとき、ふたつのパターン間の距離D(A,B)は、以下のDPマッチング・アルゴリズムで求められる。
D(A,B)=g(I,J)/(I+J)
ここで、
Figure 0006062251
Figure 0006062251
Figure 0006062251
であり、この距離D(A,B)が、上述した写像変換部242が出力する実数値である。あるふたつのデータの組み合わせにおける距離Dの値が、別のふたつのデータの組み合わせにおける距離Dの値よりも小さい場合は、大きい場合よりもそのデータは類似すると判断できる。
図6の説明に戻る。閾値処理部244は、写像変換部242が出力した実数値と、所定の閾値とを比較して、写像変換部242が出力した実数値が類似決定閾値未満となる動きデータの組み合わせを取得する。ここで「所定の閾値」とは、異なる2人のユーザの動きデータが類似するか否かを決定するために定められた類似決定閾値である。類似決定閾値の具体的な値は、マッチングにおけるTP(True Positive)やFP(False Posivite)等を考慮して実験により定めればよい。
写像変換部242が出力した実数値が類似決定閾値未満となる場合、異なる2人のユーザの動きデータは類似すると判断できる。そこでマッチング部246は、写像変換部242が出力した実数値が類似決定閾値未満となる場合は動きデータが類似であること、そうでない場合は非類似であることを出力する。以上より、動きデータ比較部240は第1ユーザの動きデータと第2ユーザの動きデータ等、異なる2人のユーザの動きデータが類似するか否かを比較することができる。
なお、動きデータ比較部240が異なる2人のユーザの動きデータが類似するか否かを比較するために用いるアルゴリズムはDPマッチングに限られない。2人のユーザの動きデータを入力としてその類比を数値化するアルゴリズムであればどのようなものでもよい。そのような他のアルゴリズムとして、例えばHMM(Hidden Markov Model)等のアルゴリズムがあげられる。
動きデータ比較部240は、異なる2人のユーザの動きデータが非類似の場合、非類似であることを動きデータ取得部210に通知する。動きデータ取得部210内の通知部276は、動きデータが非類似であることを受信した場合、その旨を第1ユーザに伝えるために定められた所定の視覚情報または音声情報を用いて通知する。ここで所定の視覚情報とは、例えば赤や黄色等の警告色でLEDを点滅することである。また、所定の音声情報とは、例えばビープ音を鳴らすことである。
図7は、実施の形態に係るソーシャルネットワークシステム100における情報処理の流れを説明するシーケンス図である。
第1ユーザの携帯端末200aは、アドホックネットワークの検出を試みる(S2)。第1ユーザの携帯端末200aは、アドホックネットワークが検出できない場合(S4のN)、ステップS2に戻ってアドホックネットワークの検出を継続する。
第1ユーザの携帯端末200aがいずれかの携帯端末200とアドホックネットワークを構築可能な範囲まで近づき、第1ユーザの携帯端末200aがアドホックネットワークの検出に成功すると(S4のY)、第1ユーザの携帯端末200aは友達登録可能の状態となり(S6)、アドホックネットワークにブロードキャストする。
第2ユーザの携帯端末200bが第1ユーザの携帯端末200aのブロードキャストを受信すると(S8)、第2ユーザの携帯端末200bも友達登録可能の状態となり(S10)、第1ユーザの携帯端末200aにユニキャストする。
「友達登録」が可能であることを知ったふたりのユーザは、測定部212を装着している手で、握手をしたり、ハイタッチをしたりすることで、「友達登録」をするために定められた動作をする。これらの動作は、人と人とが出合う際のふつうの動作であるので、ユーザはスマートフォン202等の携帯端末200を意識することなくすることができる。第1ユーザの携帯端末200aは動きデータを取得して、友達登録の動きデータの検出を試みる(S12)。第2ユーザの携帯端末200bも同様に動きデータを取得して、友達登録の動きデータの検出を試みる(S14)。第1ユーザの携帯端末200aは、友達登録が成功しない間(S16のN)、ステップS12に戻って友達登録の動きデータの検出を継続する。第2ユーザの携帯端末200bも同様に、友達登録が成功しない間(S18のN)、ステップS14に戻って友達登録の動きデータの検出を継続する。
友達登録が成功すると(S16のY)、第1ユーザの携帯端末200aは、第1ユーザと第2ユーザとの間のエッジデータを取得する(S20)。同様に第2ユーザの携帯端末200bも、友達登録が成功すると(S18のY)、第1ユーザと第2ユーザとの間のエッジデータを取得する(S22)。ここで「エッジデータ」とは、ソーシャルグラフを構成する、ひとり対ひとりのデータを示し、この例では、第1ユーザ対第2ユーザのデータである。
エッジデータを取得すると、第1ユーザの携帯端末200aおよび第2ユーザの携帯端末200bはエッジデータをサーバ300に送信する。サーバ300は受信したエッジデータをもとにSNSデータベース400に格納されたソーシャルグラフを更新する(S24)。サーバ300は、携帯端末200のペアからエッジデータを受信することを契機としてソーシャルグラフを更新することにより、多数のユーザが共通に利用するソーシャルネットワークサービスにおけるソーシャルグラフを更新することができる。
ところで、動きデータが類似するか否かをもとに制御する場合、所定の操作を実行するか否かの二択の制御となる。ここで、例えば所定の操作として友達登録を考えた場合、「友達」のレベルも指定できると便利である。そこで、修正動作検出部350は、操作実行部260による操作の実行後、所定の時間内に動きデータ取得部210内の測定部212が取得した第1ユーザの動きデータを解析する。より具体的には、修正動作検出部350は、第1ユーザの動きデータが、操作実行部による操作を修正するか否かを決定するために定められた操作修正動作と類似するか否かを検出する。
操作実行部260は、修正動作検出部250が操作修正動作と類似する動きデータを検出した場合、第1ユーザと第2ユーザとが共通に利用するソーシャルネットワークサービスに対して所定の修正操作を実行する。ここで「所定の修正操作」とは、操作実行部260がした操作のレベルを変更する操作のことをいう。例えば、操作実行部260が第1ユーザと第2ユーザとの友達登録操作を実行した場合に、第1ユーザが「親友」としての登録を望むかもしれない。そのような場合、第1ユーザは所定の時間(例えば10分以内)に、友達登録を親友登録に修正するための動作をする。あるいはまた、社交辞令上、第1ユーザは第2ユーザと握手したが、実際には第1ユーザは第2ユーザと友達登録をすることを望まない場合もあり得る。このような場合、第1ユーザは所定の時間(例えば30分以内)に、友達登録を取り消すための動作をする。
このように、本実施の形態において、「所定の修正操作」には、前にした操作を取り消す取り消し操作も含むものとする。修正するための動作は、例えば右手の手のひらを地面と平行にして3回振る動作とする等、用途に応じてあらかじめ決めておけばよい。また、所定の時間を設けることにより、その時間が経過後に偶然修正するための動作を検出して修正操作を実行してしまうことを防止することができる。
以上、異なる携帯端末200同士が互いに近距離に存在する場合に、無線アドホックネットワークを構築してアドホック通信をすることを前提に説明した。これは、動きデータの比較等を実行する計算リソースがユーザの利用する携帯端末200の場合の例である。上述したように、携帯端末200を利用するユーザにとっては、アプリケーションがローカルな計算リソースで実行されるか、あるいはネットワーク上のソーシャルネットワークシステム100の計算リソースで実行されるかは重要な問題ではない。そこで以下、サーバ300内に上述した動きデータ解析部220に相当する動きデータ解析部320が存在し、サーバ300の計算リソースが動きデータの比較等を実行する場合について説明する。なお、既述の説明と重複する部分については適宜省略または簡略化して記載する。
図8は、実施の形態に係るサーバ300の内部構成を模式的に示す図である。実施の形態に係るサーバ300は、広域ネットワークインタフェース312、動きデータ解析部320とを含む。
動きデータ解析部320は、上述した携帯端末200内の動きデータ解析部220と同様に、時間間隔取得部330、動きデータ比較部340、修正動作検出部350、および操作実行部360を含む。動きデータ解析部220と異なり、動きデータ解析部320は、距離取得部390をさらに含む。
広域ネットワークインタフェース312は、少なくとも2以上のユーザそれぞれが所持する2以上の携帯端末200とネットワーク500を介して通信する。動きデータ比較部340は、広域ネットワークインタフェース312を介して、2以上の携帯端末200がそれぞれ測定したユーザの動きデータを取得する。距離取得部390は、2以上の携帯端末200それぞれが動きデータを測定したときの、ユーザの所在位置を取得する。距離取得部390は、取得した所在位置をもとに、異なる2人のユーザの所在位置の間の距離を取得する。
時間間隔取得部は、異なる2人のユーザの動きデータの測定時刻との時間間隔を取得する。動きデータ比較部340は、時間間隔取得部330が取得した時間間隔が所定の時間間隔以内であり、かつ距離取得部390が取得した距離が所定の距離以内の場合、その2人のユーザの動きデータが類似するか否かを比較する。操作実行部360は、その2人のユーザの動きデータが類似する場合、その2人のユーザが共通に利用するソーシャルネットワークサービスに対して所定の操作を実行する。
図9は、実施の形態に係る測定部212の内部構成を模式的に示す図であり、より具体的には、サーバ300の計算リソースが動きデータの比較等を実行する場合における測定部212の内部構成図である。実施の形態に係る測定部212は、送受信部270、加速度センサ272、音情報取得部274、通知部276に加えて、位置検出部278を含む。
上述したとおり、距離取得部390は異なる2人のユーザの所在位置の間の距離を取得する。そこで位置検出部278は、位置検出部278を搭載する携帯端末200が存在する場所の位置情報を取得する。位置検出部278は、例えば既知のGPS(Global Positioning System)モジュールを用いて実現できる。位置検出部278が取得した位置情報は、送受信部270およびネットワーク500を介してサーバ300に送信される。
図8の説明に戻る。時間間隔取得部330はサーバ300内にあるため、各携帯端末200が動きデータを測定したときの時刻を直接計測することは困難である。また、時間間隔取得部330はネットワーク500を介して動きデータを取得するため、データを取得する時刻は各携帯端末200がデータを送信した時刻に依存する。仮に各携帯端末200がデータを計測すると同時に送信することが保証されているとしても、ネットワーク500の帯域によりデータ送信に遅延が生じないとも限らない。そこで時間間隔取得部330は、上述した時間間隔取得部230の場合とは異なり、各携帯端末200が動きデータを測定したときに付与した時刻をもとに、各携帯端末200が動きデータを測定したときの時刻の時間差を取得する。
図10は、実施の形態に係る動きデータ比較部340の内部構成を模式的に示す図である。実施の形態に係る動きデータ比較部340は、動きデータ比較部240と同様に、写像変換部342、閾値処理部344、およびマッチング部346を含む。動きデータ比較部340は、動きデータ比較部240と異なり、ユーザ情報通知部348をさらに含む。
写像変換部342と閾値処理部344との動作は、それぞれ写像変換部242と閾値処理部244との動作と同様である。一方で、サーバ300内に存在する動きデータ比較部340は、多数の異なる2人のユーザの組み合わせに関する動きデータを比較する。そこで、マッチング部346は、閾値処理部344が取得した動きデータの組み合わせの中から、写像変換部342が出力した実数値をもとに、動きデータが類似すると判断すべき組み合わせを決定する。より具体的には、マッチング部346は、写像変換部342が出力した実数値であって、かつ類似決定閾値以下となる実数値となる動きデータの組み合わせの中から、実数値が最小となる動きデータの組み合わせを、動きデータが類似する組み合わせとする。これにより、多数の異なる2人のユーザの組み合わせの中から、実際に対面したユーザの組み合わせを特定する可能性を高めることができる。
ユーザ情報通知部348は、閾値処理部344が取得した類似決定閾値未満となる動きデータの組み合わせをもとに、その動きデータに対応するユーザの組みを取得する。ユーザ情報通知部348は、取得したユーザの組み合わせを構成する一方のユーザに対して、他方のユーザに関する情報を通知する。上述したように、写像変換部342の出力値が類似決定閾値を下回る場合、そのユーザ達は、所定の時間間隔以内かつ所定の距離以内において、似たような動きをした可能性が高い。すなわち、そのユーザ達は例えば何らかのパーティー会場等で同席していた可能性が高く、友達登録の候補となると考えられる。ユーザ情報通知部348が友達登録の候補をそれぞれのユーザに通知することにより、ユーザは友達を探す手間を省くことが可能となる。
図11は、実施の形態に係るソーシャルネットワークシステム100における情報処理の流れを説明する別のシーケンス図であり、複数の携帯端末200とサーバ300とがネットワーク500を介して通信可能な場合のシーケンス図である。
第1ユーザの携帯端末200a中の位置検出部278は、現在の所在位置の検出を試みる(S30)。第2ユーザの携帯端末200b中の位置検出部278も、現在の所在位置の検出を試みる(S32)。第1ユーザの携帯端末200aは、所在位置の検出が失敗した場合(S34のN)、ステップS30に戻って所在位置の検出を継続する。第2ユーザの携帯端末200bも、所在位置の検出が失敗した場合(S36のN)はステップS32に戻って所在位置の検出を継続する。
所在位置の検出に成功した場合(S34のY)、携帯端末200aはネットワーク500を介して位置データをサーバ300に送信する(S38)。携帯端末200bも、所在位置の検出に成功した場合(S36のY)、ネットワーク500を介して位置データをサーバ300に送信する(S40)。
サーバ300の距離取得部390は、携帯端末200aおよび携帯端末200bから受信したそれぞれの位置データを比較する(S42)。比較の結果、携帯端末200aおよび携帯端末200bの所在位置が所定の距離以内の場合、すなわち携帯端末200aと携帯端末200bとの所在位置が一致すると考えら得る場合(S44のY)、サーバ300は、所在位置が一致する旨を携帯端末200aと携帯端末200bとに通知する(S46)。比較の結果、携帯端末200aと携帯端末200bとの所在位置が一致しない場合(S44のN)、携帯端末200aと携帯端末200bとに関する処理は終了する。
サーバ300から携帯端末200aと携帯端末200bとの所在位置が一致する旨を受信すると、携帯端末200aは、携帯端末200bと友達登録可能状態となる(S48)。同様に、サーバ300から携帯端末200aと携帯端末200bとの所在位置が一致する旨を受信すると、携帯端末200bも、携帯端末200aと友達登録可能状態となる(S50)。
携帯端末200bと友達登録可能状態となると、携帯端末200aは登録の動きデータの検出を試みる(S52)。携帯端末200bも同様に、携帯端末200aと友達登録可能状態となると、携帯端末200bは登録の動きデータの検出を試みる(S54)。登録の動きデータを検出すると、携帯端末200aは検出した動きデータに検出時刻を関連づけるとともにサーバ300に送信する(S56)。携帯端末200bも同様に、検出した動きデータを検出時刻とともにサーバ300に送信する(S58)。
サーバ300内の時間間隔取得部330は、携帯端末200aと携帯端末200bとのそれぞれから取得した動きデータに関連づけられている時刻を比較する(S60)。携帯端末200aと携帯端末200bとのそれぞれから取得した動きデータに関連づけられている時刻の差が所定の時間間隔以内でない場合(S62のN)、携帯端末200aと携帯端末200bとに関する処理は終了する。
携帯端末200aと携帯端末200bとのそれぞれから取得した動きデータに関連づけられている時刻の差が所定の時間間隔以内の場合(S62のY)、動きデータ比較部340は、携帯端末200aと携帯端末200bとのそれぞれから取得した動きデータを比較する(S64)。比較の結果、動きデータが非類似の場合(S66のN)、携帯端末200aと携帯端末200bとに関する処理は終了する。
動きデータ比較部340による比較の結果、携帯端末200aと携帯端末200bとのそれぞれから取得した動きデータが類似する場合(S66のY)、サーバ300内の操作実行部360は、SNSデータベース400に格納されているソーシャルグラフを更新する(S68)。サーバ300はまた、友達登録の操作が発生した旨を携帯端末200aと携帯端末200bとに通知する(S70)。サーバ300から通知を受信すると、携帯端末200aは、携帯端末200bに関するエッジデータを更新する(S72)。同様に、携帯端末200bは、サーバ300から通知を受信すると携帯端末200aに関するエッジデータを更新する(S74)。
以上述べたように、実施の形態に係るソーシャルネットワークシステム100によれば、ソーシャルネットワークシステムにおける操作を支援する技術を提供することができる。
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
(第1の変形例)
上記では、図11を参照して、複数の携帯端末200とサーバ300とがネットワーク500を介して通信可能な場合に、サーバ300が動きデータのマッチング等を取る場合につて説明した。これはいわば、複数の携帯端末200とサーバ300とが接続してオンラインでリアルタイムに処理を実行する場合に相当する。一方、サーバ300はオフラインで動きデータのマッチング等の処理をしてもよい。
この場合も、オンラインでリアルタイムに処理を実行する場合と比較して同様の処理が実行される。携帯端末200はそれぞれ、ネットワーク500を介してサーバ300と接続可能な状態となったときに、取得した動きデータをサーバ300に送信する。サーバ300は、携帯端末200から受信した動きデータそれぞれについて、上述した所定の時間間隔以内かつ所定の距離以内の動きデータの組み合わせについて、動きデータが類似するか否かを比較する。これにより、携帯端末200がネットワークを使用できる環境になく、他の携帯端末200やサーバ300と通信できない状況であっても、動きデータを事後的にサーバ300に送信することで、友達登録等のソーシャルネットワークシステムにおける操作を実行させることができる。
(第2の変形例)
上記では、ソーシャルネットワークシステムにおける操作の例として、異なる2人のユーザの間の友達登録を主な例とする場合について説明した。ソーシャルネットワークシステムにおける操作の例は、異なる2人のユーザ間における操作に限られない。この他にも例えば、一人のユーザに関する操作であってもよい。以下この場合について説明する。
図12は、実施の形態に係るソーシャルネットワークシステム100における情報処理の流れを説明するさらに別のシーケンス図であり、一人のユーザに関する操作を支援する場合のシーケンス図である。より具体的に、図12に示す例はユーザの位置情報を利用して、そのユーザと、ユーザが利用している店等の施設とを結びつけるソーシャルネットワークサービスの操作を支援する場合の例である。
携帯端末200を利用するユーザは、携帯端末200上で動作するSNSアプリケーションを起動する(S80)。ユーザは、SNSアプリケーションを起動した状態である店に入店する(S82)。SNSアプリケーションは、位置検出部278を利用してユーザの所在位置を検出する(S82)。SNSアプリケーションは、ネットワーク500を介して検出した所在位置をサーバ300に送信する(S84)。
サーバ300は、受信した所在位置をもとに、SNSデータベース400を検索してユーザの所在位置に該当する店の情報を検索する(S86)。サーバ300は、検索した店情報を携帯端末200で動作するSNSアプリケーションに送信する(S88)。
SNSアプリケーションは、サーバ300から店情報を受信する(S90)。SNSアプリケーションは、受信した店情報をもとにその店にチェックインする(S92)。ここで「チェックイン」とは、ユーザが利用するソーシャルネットワークサービスにおいて、そのユーザが特定の店舗にいるという情報を登録する動作を意味する。
ユーザは入店した店舗において、所定の操作動作を実行する(S92)。ここで「所定の操作動作」とは、ユーザが入店した店舗を、ユーザが利用するソーシャルネットワークサービスにおいてお気に入りに登録するために定められたお気に入り登録動作であり、例えばリストバンド型の測定部212を装着した方の手部を2回振る等あらかじめ決めておけばよい。
SNSアプリケーションは、加速度センサ272が取得した動きデータがお気に入り登録動作と類似するかどうかを比較する(S96)。比較の結果、動きデータがお気に入り登録動作と非類似の場合、SNSアプリケーションはその動きデータを破棄する。きデータがお気に入り登録動作と類似する場合、SNSアプリケーションはお気に入り操作を実行する(S100)。
サーバ300は、ネットワーク500を介してSNSアプリケーションからお気に入り操作があったことを受信すると、SNSデータベースに格納された店情報を更新する(S102)。より具体的には、その店をお気に入りとしているユーザの数を増加したり、ユーザの利用するソーシャルネットワークサービスにおける個人ページにその店のリンクを載せたりする。
その後ユーザが店を退店したとする(S104)、SNSアプリケーションは位置検出部278を利用してユーザの所在位置を再度検出する(S106)。SNSアプリケーションはさらに、検出した所在位置をサーバ300に送信する(S108)。サーバ300は、受信した所在位置をもとに再度店の情報を検索する(S110)。検索の結果、店の情報が検出できないか、あるいは異なる新しい店となる場合、未検出または新しい情報を携帯端末200で動作するSNSアプリケーションに送信する(S112)。
SNSアプリケーションは、サーバ300から未検出または新しい情報を受信すると、店情報を消去するか、新しい店情報で更新する(S114)。いずれにしても、SNSアプリケーションは、SNSアプリケーションはチェックインしていた店からチェックアウトする(S116)。以上より、ソーシャルネットワークシステムにおける一人のユーザに関する操作を実行することができる。
(第3の変形例)
上記の説明では、音情報取得部274が取得した音情報のゲインが所定の閾値を超えることを契機として、動きデータ比較部240が第1ユーザの動きデータと第2ユーザの動きデータとを比較する場合について説明した。この構成に加えて、音情報取得部274が取得した音情報から環境音を低減するノイズキャンセラ機能を備えてもよい。この場合、例えば動きデータ解析部220内に図示しないノイズ低減部を設け、音情報取得部274が取得した音情報の信号と、スマートフォン202のマイクロフォン(図示せず)から検出した信号とをもとに、既知のノイズキャンセラ技術を用いて実現できる。これにより、環境が騒がしい場合、騒音だけで音量のしきい値を超えてしまうようなことを軽減できる。ノイズキャンセル時の参照情報をスマートフォン202のマイクロフォンから取得することで、参照情報を取得するための部材を別途設ける必要もなく、コストおよび軽量化の点でも有利である。
(第4の変形例)
上記の説明では、動きデータ比較部340は、第1ユーザの動きデータと第2ユーザの動きデータとを比較する場合について主に説明した。動きデータ比較部340が、第1ユーザの動きデータと比較する対象となる動きデータは、第2ユーザが所持する携帯端末が取得した第2ユーザの動きデータには限られない。この他に、比較用の動きデータとしてあらかじめデータベースに格納されている動きデータであってもよい。以下、この場合について説明する。
図13は、実施の形態に係る比較用の動きデータを格納した比較用データベース600のデータ構造を模式的に示す図である。図13に示す例では、比較用の動きデータとして、第1パターンから第NパターンまでのN種類(N≧1)の動きデータのパターンが登録されている。第1パターンは例えばユーザが握手をしたときの手部の動きパターンであり、第2パターンはユーザがハイタッチをしたときの手部の動きパターンである。この他、ユーザがうなずいたときの首部の動きパターンや、ユーザがひざまずいたときの脚部の動きパターン等、比較用データベース600は動きデータ比較部340の比較対象として想定される動きデータをあらかじめ実験によって計測し格納する。
比較用データベース600が格納する動きデータの数Nの具体的な値は、動きデータ比較部340の比較対象として想定してあらかじめ定めておいてもよいし、ユーザが任意のタイミングで動きデータを登録したり削除したりすることで増減できるようにしてもよい。また比較用データベース600はSNSデータベース400またはサーバ300がアクセス可能な他のデータベース(図示せず)に格納されており、携帯端末200はサーバ300およびネットワーク500を介して比較用データベース600にアクセスしたり、携帯端末200内の記録部216にダウンロードしたりすることができる。
動きデータ比較部340は、動きデータ取得部210が取得した第1ユーザの動きデータを、比較用データベース600に格納されている複数の動きデータと比較し、その複数の動きデータの中から最も類似する動きデータを取得する。これは動きデータ比較部340が例えば上述したDPマッチングのアルゴリズムを用いることで実現できる。
動きデータ比較部340の比較の結果、第1ユーザの動きデータと最も類似する動きデータの種類が、上述したお気に入り登録動作であった場合、操作実行部260はお気に入り操作を実行する。
(第5の変形例)
上記第4の変形例では、動きデータ比較部340が動きデータ取得部210が取得した第1ユーザの動きデータを、比較用データベース600に格納されている1または複数の動きデータと比較する場合について説明した。動きデータ比較部340は、第1ユーザの動きデータのみならず、第2ユーザの動きデータも比較用データベース600に格納されている複数の動きデータと比較し、操作実行部360は、動きデータ比較部340が実行したふたつの比較結果をもとに、第1ユーザと第2ユーザとが共通に利用するソーシャルネットワークサービスに対して操作を実行してもよい。以下、この場合について説明する。
図14は、実施の形態に係る動きデータのパターンの組み合わせを格納した組み合わせパターンデータベース700のデータ構造を模式的に示す図である。図14に示すように、組み合わせパターンデータベース700は、第1ユーザの動きパターンと第2ユーザの動きパターンとの組み合わせと、その組み合わせが意味する内容とを対応づけて格納している。
例えば動きデータ比較部340の比較の結果、第1ユーザの動きデータが第1パターンにマッチし、第2ユーザの動きパターンも第1パターンにマッチしたとする。図14に示すように、組み合わせパターンデータベース700において第1パターンと第1パターンとの組み合わせは、2人のユーザが握手したことと対応づけて格納されている。動きデータ比較部340は、第1ユーザの動きデータの比較結果と第2ユーザの動きデータの比較結果とをもとに組み合わせパターンデータベース700を参照して、2人のユーザが握手したことを取得する。操作実行部360は、動きデータ比較部340から2人のユーザの握手したことを取得し、例えば2人のユーザが共通に利用するソーシャルネットワークサービスにおいて、その2人のユーザの友達登録を実行する。
例えば第1ユーザが第2ユーザに敬礼する場合、あるいは第1ユーザが第2ユーザにひざまずく場合等は、第1ユーザの動きデータと第2ユーザの動きデータとは異なる。このように、組み合わせパターンデータベース700が格納する組み合わせの種類は、比較用データベース600に格納されている動きデータの任意の組み合わせとしてもよい。動きデータ比較部340が、比較用データベース600と組み合わせパターンデータベース700とを参照することで、第1ユーザの動きデータと第2ユーザの動きデータとを直接比較する場合と比較して、より多くのユーザの動作を扱うことができる点で効果がある。
組み合わせパターンデータベース700が格納する動きデータの組み合わせは、ユーザが任意のタイミングで動きデータを登録したり削除したりすることで増減できるようにしてもよい。また組み合わせパターンデータベース700はSNSデータベース400またはサーバ300がアクセス可能な他のデータベース(図示せず)に格納されており、携帯端末200はサーバ300およびネットワーク500を介して組み合わせパターンデータベース700にアクセスしたり、携帯端末200内の記録部216にダウンロードしたりすることができる。
100 ソーシャルネットワークシステム、 200 携帯端末、 202 スマートフォン、 210 動きデータ取得部、 212 測定部、 214 近距離通信部、 216 記録部、 218 タイムスタンプ付与部、 220 動きデータ解析部、 230 時間間隔取得部、 240 動きデータ比較部、 242 写像変換部、 244 閾値処理部、 246 マッチング部、 250 修正動作検出部、 260 操作実行部、 270 送受信部、 272 加速度センサ、 274 音情報取得部、 276 通知部、 278 位置検出部、 280 アドホック通信部、 300 サーバ、 312 広域ネットワークインタフェース、 320 動きデータ解析部、 330 時間間隔取得部、 340 動きデータ比較部、 342 写像変換部、 344 閾値処理部、 346 マッチング部、 348 ユーザ情報通知部、 350 修正動作検出部、 360 操作実行部、 390 距離取得部、 400 SNSデータベース、 500 ネットワーク、 600 比較用データベース、 700 組み合わせパターンデータベース。

Claims (14)

  1. ユーザの動きデータを取得する動きデータ取得部と、
    前記動きデータ取得部が取得した動きデータと、比較用動きデータとを比較する動きデータ比較部と、
    前記動きデータ比較部の比較結果をもとに、前記ユーザが利用するソーシャルネットワークサービスに対して所定の操作を実行する操作実行部とを含み、
    前記動きデータ取得部は、インフラストラクチャネットワークを介して前記ユーザとは異なる別のユーザの動きデータも取得し、
    前記動きデータ比較部は、前記別のユーザの動きデータを比較用動きデータとして前記ユーザの動きデータと比較し、
    本情報処理装置は、
    前記ユーザの所在位置と、前記ユーザとは異なる別のユーザの所在位置との間の距離を取得する距離取得部をさらに含み、
    前記動きデータ比較部は、前記距離取得部が取得した距離が所定の距離以内の場合、前記動きデータを比較することを特徴とする情報処理装置。
  2. ユーザの動きデータを取得するステップと、
    取得した動きデータと、比較用動きデータとを比較するステップと、
    比較結果をもとに、前記ユーザが利用するソーシャルネットワークサービスに対して所定の操作を実行するステップとをプロセッサに実行させ
    前記動きデータを取得するステップは、インフラストラクチャネットワークを介して前記ユーザとは異なる別のユーザの動きデータも取得し、
    前記動きデータを比較するステップは、前記別のユーザの動きデータを比較用動きデータとして前記ユーザの動きデータと比較し、
    本情報処理方法は、
    前記ユーザの所在位置と、前記ユーザとは異なる別のユーザの所在位置との間の距離を取得するステップをさらにプロセッサに実行させ、
    前記動きデータを比較するステップは、前記距離を取得するステップが取得した距離が所定の距離以内の場合、前記動きデータを比較することを特徴とする情報処理方法。
  3. ユーザの動きデータを取得する機能と、
    取得した動きデータと、比較用動きデータとを比較する機能と、
    比較結果をもとに、前記ユーザが利用するソーシャルネットワークサービスに対して所定の操作を実行する機能とをコンピュータに実現させ
    前記動きデータを取得する機能は、インフラストラクチャネットワークを介して前記ユーザとは異なる別のユーザの動きデータも取得し、
    前記動きデータを比較する機能は、前記別のユーザの動きデータを比較用動きデータとして前記ユーザの動きデータと比較し、
    本プログラムは、
    前記ユーザの所在位置と、前記ユーザとは異なる別のユーザの所在位置との間の距離を取得する機能をさらにプロセッサに実行させ、
    前記動きデータを比較する機能は、前記距離を取得する機能が取得した距離が所定の距離以内の場合、前記動きデータを比較することを特徴とするプログラム。
  4. 第1ユーザに装着自在に構成され当該ユーザの動きデータを測定する測定部と、
    第1ユーザが利用するソーシャルネットワークサービスと同じサービスを利用する第2ユーザに取り付けられて第2ユーザの動きを測定した動きデータを、アドホックネットワークを介して取得するアドホック通信部と、
    前記測定部がデータを測定した時刻と、前記アドホック通信部が取得した第2ユーザの動きデータに関連づけられている時刻との時間差を取得する時間間隔取得部と、
    前記時間間隔取得部が取得した時間差が所定の時間間隔以内の場合、第1ユーザの動きデータと第2ユーザの動きデータとが類似するか否かを取得する動きデータ比較部と、
    第1ユーザの動きデータと第2ユーザの動きデータとが類似する場合、第1ユーザと第2ユーザとが共通に利用するソーシャルネットワークサービスに対して所定の操作を実行する操作実行部とを含むことを特徴とする携帯端末。
  5. 前記アドホック通信部が第2ユーザの動きデータを取得したときの時刻を、前記第2ユーザの動きデータに関連づけて格納するタイムスタンプ付与部とを備え、
    前記時間間隔取得部は、前記測定部が第1ユーザの動きデータを取得した時刻と、前記タイムスタンプ付与部が格納した時刻との時間差を取得することを特徴とする請求項に記載の携帯端末。
  6. 前記第1ユーザまたは前記第2ユーザの少なくともいずれか一方が発する音を音情報として取得する音情報取得部をさらに含み、
    前記動きデータ比較部は、前記音情報取得部が取得した音情報のゲインが所定の閾値を超えることを契機として、第1ユーザの動きデータと第2ユーザの動きデータとを比較することを特徴とする請求項またはに記載の携帯端末。
  7. 前記測定部は、本携帯端末とは独立して第1ユーザに取り付けられており、前記測定部は、
    前記音情報取得部と、
    第1ユーザの動きを計測する加速度センサと、
    前記加速度センサが計測した情報を本電子機器に送信するとともに、本電子機器から送信される情報を取得する送受信部と、
    前記送受信部を介して取得した情報を通知する通知部とを含むことを特徴とする請求項に記載の携帯端末。
  8. 前記動きデータ比較部は、第1ユーザの動きデータと第2ユーザの動きデータとが非類似の場合、非類似であることを前記送受信部に送信し、
    前記通知部は、前記送受信部が第1ユーザの動きデータと第2ユーザの動きデータとが非類似であることを受信した場合、その旨を第1ユーザに伝えるために定められた所定の視覚情報または音声情報を用いて通知することを特徴とする請求項に記載の携帯端末。
  9. 前記操作実行部による操作の実行後、所定の時間内に前記測定部が取得した第1ユーザの動きデータを解析し、当該動きデータが前記操作実行部による操作を修正するか否かを決定するために定められた操作修正動作と類似するか否かを検出する修正動作検出部とをさらに含み、
    前記操作実行部は、前記修正動作検出部が操作修正動作と類似する動きデータを検出した場合、第1ユーザと第2ユーザとが共通に利用するソーシャルネットワークサービスに対して所定の修正操作を実行することを特徴とする請求項からのいずれかに記載の携帯端末。
  10. 少なくとも2以上のユーザそれぞれが所持する2以上の携帯端末とネットワークを介して通信可能なサーバであって、
    2以上の携帯端末がそれぞれ測定したユーザの動きデータを取得する動きデータ取得部と、
    異なる2人のユーザの動きデータの測定時刻との時間間隔を取得する時間間隔取得部と、
    前記異なる2人のユーザの所在位置の間の距離を取得する距離取得部と、
    前記時間間隔取得部が取得した時間間隔が所定の時間間隔以内であり、かつ前記距離取得部が取得した距離が所定の距離以内の場合、前記異なる2人のユーザの動きデータが類似するか否かを取得する動きデータ比較部と、
    前記異なる2人のユーザの動きデータが類似する場合、前記異なる2人のユーザが共通に利用するソーシャルネットワークサービスに対して所定の操作を実行する操作実行部とを含むことを特徴とするサーバ。
  11. 前記時間間隔取得部は、異なる2人のユーザが所持する携帯端末それぞれが動きデータを測定したときに付与した時刻の時間差を取得することを特徴とする請求項10に記載のサーバ。
  12. 前記動きデータ比較部は、
    異なる2人のユーザの動きデータを入力として、当該異なる2人のユーザの動きデータが類似する場合は、非類似の場合と比較して小さな実数値を出力する写像変換部と、
    前記写像変換部が出力した実数値と、異なる2人のユーザの動きデータが類似するか否かを決定するために定められた類似決定閾値とを比較して、前記写像変換部が出力した実数値が類似決定閾値未満となる動きデータの組み合わせを取得する閾値処理部と、
    前記閾値処理部が取得した動きデータの組み合わせの中から、前記写像変換部が出力した実数値をもとに、動きデータが類似する組み合わせを決定するマッチング部とを含むことを特徴とする請求項10または11に記載のサーバ。
  13. 前記マッチング部は、前記写像変換部が出力した実数値が最小となる動きデータの組み合わせを、動きデータが類似する組み合わせとすることを特徴とする請求項12に記載のサーバ。
  14. 前記閾値処理部が取得した類似決定閾値未満となる動きデータの組み合わせをもとに当該動きデータに対応するユーザの組みを取得し、ユーザの組み合わせを構成する一方のユーザに対して他方のユーザに関する情報を通知するユーザ情報通知部をさらに含むことを特徴とする請求項12または13に記載のサーバ。
JP2013003282A 2013-01-11 2013-01-11 情報処理装置、情報処理方法、携帯端末、およびサーバ Active JP6062251B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013003282A JP6062251B2 (ja) 2013-01-11 2013-01-11 情報処理装置、情報処理方法、携帯端末、およびサーバ
US14/141,561 US10291727B2 (en) 2013-01-11 2013-12-27 Information processing device, information processing method, portable terminal, and server

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013003282A JP6062251B2 (ja) 2013-01-11 2013-01-11 情報処理装置、情報処理方法、携帯端末、およびサーバ

Publications (2)

Publication Number Publication Date
JP2014135000A JP2014135000A (ja) 2014-07-24
JP6062251B2 true JP6062251B2 (ja) 2017-01-18

Family

ID=51166079

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013003282A Active JP6062251B2 (ja) 2013-01-11 2013-01-11 情報処理装置、情報処理方法、携帯端末、およびサーバ

Country Status (2)

Country Link
US (1) US10291727B2 (ja)
JP (1) JP6062251B2 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10542793B2 (en) 2014-12-29 2020-01-28 Loop Devices, Inc. Functional, socially-enabled jewelry and systems for multi-device interaction
JP6649709B2 (ja) 2015-06-29 2020-02-19 任天堂株式会社 情報処理システム、情報処理システムの制御方法および情報処理システムの制御プログラム
JPWO2017038386A1 (ja) * 2015-09-01 2018-12-20 シャープ株式会社 情報処理装置、情報処理装置の制御方法およびプログラム
JP6526541B2 (ja) * 2015-10-21 2019-06-05 日本ソフトウェアマネジメント株式会社 映像情報管理装置、映像情報管理システム、映像情報管理方法、及びプログラム
KR101687763B1 (ko) * 2016-04-06 2016-12-20 (주)감성과학연구센터 라이프로깅 데이터를 이용한 동기화 기반 자동 범주화 시스템 및 그 방법
JP2019016925A (ja) * 2017-07-07 2019-01-31 ソニーセミコンダクタソリューションズ株式会社 通信装置、通信方法および通信システム
RU2671305C1 (ru) * 2017-07-11 2018-10-30 Евгений Борисович Югай Способ осуществления автоматизированной аутентификации пользователя на основании его подписи
CN108021235B (zh) * 2017-12-27 2021-03-09 Oppo广东移动通信有限公司 触发操作的方法、装置、终端及存储介质
WO2020069634A1 (en) * 2018-10-02 2020-04-09 Intel Corporation Method and system for game status determination
US20230004902A1 (en) * 2019-12-06 2023-01-05 Nippon Telegraph And Telephone Corporation Value element evaluation apparatus, value element evaluation method and program
WO2024014266A1 (ja) * 2022-07-13 2024-01-18 ソニーグループ株式会社 制御装置、制御方法、情報処理装置、情報処理方法、およびプログラム

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2002255568B8 (en) * 2001-02-20 2014-01-09 Adidas Ag Modular personal network systems and methods
US10373173B2 (en) * 2004-06-14 2019-08-06 Facebook, Inc. Online content delivery based on information from social networks
US7667686B2 (en) 2006-02-01 2010-02-23 Memsic, Inc. Air-writing and motion sensing input for portable devices
US20070211573A1 (en) * 2006-03-10 2007-09-13 Hermansson Jonas G Electronic equipment with data transfer function using motion and method
US8989778B2 (en) * 2006-06-01 2015-03-24 Green Dot Corporation Secure and private location sharing for location-aware mobile communication devices
US20080233996A1 (en) * 2007-03-19 2008-09-25 Gemini Mobile Technologies, Inc. Method and apparatus for motion-based communication
JP2009129257A (ja) * 2007-11-26 2009-06-11 Sony Corp サーバ装置、端末装置、共感動作管理処理方法、共感動作方法、プログラム
US20090215015A1 (en) * 2008-02-21 2009-08-27 Raindrop Network Ltd. Method and Apparatus for Developing a Proper Tooth Brushing Technique
WO2011038760A1 (en) * 2009-09-30 2011-04-07 Telecom Italia S.P.A. Method and system for notifying proximity of mobile communication terminals users
US9396385B2 (en) * 2010-08-26 2016-07-19 Blast Motion Inc. Integrated sensor and video motion analysis method
US8827824B2 (en) * 2010-08-26 2014-09-09 Blast Motion, Inc. Broadcasting system for broadcasting images with augmented motion data
US9011292B2 (en) * 2010-11-01 2015-04-21 Nike, Inc. Wearable device assembly having athletic functionality
KR101773309B1 (ko) * 2010-11-01 2017-08-31 나이키 이노베이트 씨.브이. 운동 기능을 가지는 착용가능한 장치 조립체
US8974349B2 (en) * 2010-11-01 2015-03-10 Nike, Inc. Wearable device assembly having athletic functionality
JP5699749B2 (ja) * 2011-03-31 2015-04-15 富士通株式会社 携帯端末装置の位置判定システムおよび携帯端末装置
KR101257171B1 (ko) * 2011-04-28 2013-04-22 엔에이치엔(주) 모바일 단말의 움직임 및 시각에 대한 정보를 이용하여 사용자들간에 관계를 설정하는 소셜 네트워크 서비스 제공 시스템 및 방법
KR101257169B1 (ko) * 2011-04-28 2013-04-22 엔에이치엔(주) 모바일 단말의 움직임 및 사용자에 의해 설정된 거리를 이용하여 사용자들간에 관계를 설정하는 소셜 네트워크 서비스 제공 시스템 및 방법
CN103179168A (zh) * 2011-12-26 2013-06-26 鸿富锦精密工业(深圳)有限公司 电子装置及通过蓝牙共享资料的方法
US9014681B2 (en) * 2011-12-27 2015-04-21 Sony Corporation Establishing a communication connection between two devices based on device displacement information
WO2013099629A1 (ja) * 2011-12-27 2013-07-04 ソニー株式会社 情報処理装置及び方法
JP2013156950A (ja) * 2012-01-31 2013-08-15 Fujitsu Ltd 情報処理方法、情報処理プログラム及びサーバ
US9448636B2 (en) * 2012-04-18 2016-09-20 Arb Labs Inc. Identifying gestures using gesture data compressed by PCA, principal joint variable analysis, and compressed feature matrices
US9152226B2 (en) * 2012-06-15 2015-10-06 Qualcomm Incorporated Input method designed for augmented reality goggles
JP5839704B2 (ja) * 2012-06-19 2016-01-06 日本電信電話株式会社 友人推薦装置、方法及びプログラム
US20140002338A1 (en) * 2012-06-28 2014-01-02 Intel Corporation Techniques for pose estimation and false positive filtering for gesture recognition
US20140046922A1 (en) * 2012-08-08 2014-02-13 Microsoft Corporation Search user interface using outward physical expressions
JP6015250B2 (ja) * 2012-08-31 2016-10-26 富士通株式会社 画像処理装置、画像処理方法及び画像処理プログラム
US9116000B2 (en) * 2012-10-22 2015-08-25 Qualcomm, Incorporated Map-assisted sensor-based positioning of mobile devices

Also Published As

Publication number Publication date
US20140201284A1 (en) 2014-07-17
JP2014135000A (ja) 2014-07-24
US10291727B2 (en) 2019-05-14

Similar Documents

Publication Publication Date Title
JP6062251B2 (ja) 情報処理装置、情報処理方法、携帯端末、およびサーバ
CN109427333B (zh) 激活语音识别服务的方法和用于实现所述方法的电子装置
US9726498B2 (en) Combining monitoring sensor measurements and system signals to determine device context
US20190230210A1 (en) Context recognition in mobile devices
US10327082B2 (en) Location based tracking using a wireless earpiece device, system, and method
JP5739017B2 (ja) パターンマッチングを介した状況の学習
US20180014102A1 (en) Variable Positioning of Distributed Body Sensors with Single or Dual Wireless Earpiece System and Method
WO2019061949A1 (zh) 一种运动行为辅助的室内融合定位方法及装置、存储介质
JP2017134689A (ja) 各端末のユーザ状態を判定する管理サーバ、システム、プログラム及び方法
US9396640B2 (en) RFID active child tracker
CN110663231A (zh) 使用共享对话上下文的任务识别和跟踪
Capurso et al. A survey on key fields of context awareness for mobile devices
US20200019373A1 (en) Multi-device personal assistants
US20190171732A1 (en) Systems and methods for evaluating accuracy of place data based on context
US10671588B2 (en) Multiple database updates using paths
Navarathna et al. Wearable device based activity recognition and prediction for improved feedforward control
US20170272902A1 (en) Handling sensor information
WO2019069529A1 (ja) 情報処理装置、情報処理方法、および、プログラム
KR20210048697A (ko) 실내측위 장치 및 방법
US10446154B2 (en) Collaborative recognition apparatus and method
Jung et al. D2D distance measurement using Kalman filter algorithm for distance-based service in an office environment
JP2017138930A (ja) 他端末からの情報を用いて自端末のユーザ状態を判定する端末、システム、プログラム及び方法
Grabowski et al. An experimental platform for quantified crowd
Yang et al. Inaudible sounds from appliances as anchors: A new signal of opportunity for indoor localization
Kandalan et al. A comprehensive survey of navigation systems for the visual impaired

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151020

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160817

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160913

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161018

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161122

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161214

R150 Certificate of patent or registration of utility model

Ref document number: 6062251

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250