JP5699802B2 - 情報処理装置、情報処理方法、プログラム、及び情報処理システム - Google Patents

情報処理装置、情報処理方法、プログラム、及び情報処理システム Download PDF

Info

Publication number
JP5699802B2
JP5699802B2 JP2011117610A JP2011117610A JP5699802B2 JP 5699802 B2 JP5699802 B2 JP 5699802B2 JP 2011117610 A JP2011117610 A JP 2011117610A JP 2011117610 A JP2011117610 A JP 2011117610A JP 5699802 B2 JP5699802 B2 JP 5699802B2
Authority
JP
Japan
Prior art keywords
unit
information processing
subject
change
timing data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011117610A
Other languages
English (en)
Other versions
JP2012247888A (ja
Inventor
健 宮下
健 宮下
脩 繁田
脩 繁田
顕博 小森
顕博 小森
斉昭 佐藤
斉昭 佐藤
山本　一幸
一幸 山本
野田　卓郎
卓郎 野田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2011117610A priority Critical patent/JP5699802B2/ja
Priority to US13/474,252 priority patent/US8803982B2/en
Priority to CN201210157380.0A priority patent/CN102999450B/zh
Publication of JP2012247888A publication Critical patent/JP2012247888A/ja
Application granted granted Critical
Publication of JP5699802B2 publication Critical patent/JP5699802B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G06V40/173—Classification, e.g. identification face re-identification, e.g. recognising unknown faces across different face tracks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Ophthalmology & Optometry (AREA)
  • Image Analysis (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Image Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本開示は、情報処理装置、情報処理方法、プログラム、及び情報処理システムに関する。
近年、インターネットの普及やハードウェア技術の向上に伴って、多くのユーザがパーソナルコンピュータ、携帯電話機、ＴＶ装置等の情報処理装置を利用するようになっている。また、被写体を撮像するカメラの小型化等に伴い、情報処理装置にカメラが搭載されている。そして、カメラを搭載した情報処理装置において、被写体を認識する被写体認識技術が提案されている（特許文献１参照）。
特開２０１０−６１４６５号公報
ところで、カメラ等の撮像部を搭載した複数の情報処理装置が、同一のタイミングで被写体を撮像するケースがある。かかる際に、各情報処理装置によって撮像された画像間で、同一の被写体の抽出を求めるニーズがある。しかし、複数の情報処理装置が異なる視点で被写体を撮像する場合には、撮像された画像間で被写体の顔向きが異なるため、同一の被写体の抽出が困難である。
そこで、本開示は、視点が異なる複数の装置によって被写体が撮像された際に、容易に同一又は類似の被写体の抽出を行う方法を提案する。
本開示によれば、被写体を撮像する撮像部と、前記撮像部によって撮像される前記被写体の動きの変化を検出する動き検出部と、前記動き検出部によって前記動きの変化が検出された変化タイミングに関する第１タイミングデータを生成するデータ生成部と、前記撮像部による撮像中に、他の装置によって撮像される被写体の動きが検出された変化タイミングに関する第２タイミングデータを、前記他の装置から受信する受信部と、前記データ生成部によって生成された前記第１タイミングデータと前記受信部によって受信された前記第２タイミングデータとに基づいて、前記撮像部によって撮像された被写体と前記他の装置によって撮像された被写体とが同一又は類似の被写体か否かを判定する判定部と、を備える、情報処理装置が提供される。
また、本開示によれば、一の装置の撮像部によって撮像される被写体の動きの変化を検出することと、前記動きの変化が検出された変化タイミングに関する第１タイミングデータを生成することと、前記撮像部による撮像中に、他の装置によって撮像される被写体の動きが検出された変化タイミングに関する第２タイミングデータを、前記他の装置から受信することと、生成された前記第１タイミングデータと、受信された前記第２タイミングデータとに基づいて、前記撮像部によって撮像された被写体と前記他の装置によって撮像された被写体とが同一又は類似の被写体か否かを判定することと、を含む、情報処理方法が提供される。
また、本開示によれば、コンピュータに、一の装置の撮像部によって撮像される被写体の動きの変化を検出することと、前記動きの変化が検出された変化タイミングに関する第１タイミングデータを生成することと、前記撮像部による撮像中に、他の装置によって撮像される被写体の動きが検出された変化タイミングに関する第２タイミングデータを、前記他の装置から受信することと、生成された前記第１タイミングデータと、受信された前記第２タイミングデータとに基づいて、前記撮像部によって撮像された被写体と前記他の装置によって撮像された被写体とが同一又は類似の被写体か否かを判定することと、を実行させるための、プログラムが提供される。
また、本開示によれば、被写体を撮像する第１撮像部と、前記第１撮像部によって撮像される前記被写体の動きの変化を検出する第１動き検出部と、前記第１動き検出部によって前記動きの変化が検出された変化タイミングに関する第１タイミングデータを生成する第１データ生成部と、を備える情報処理装置と、被写体を撮像する第２撮像部と、前記第２撮像部によって撮像される前記被写体の動きの変化を検出する第２動き検出部と、前記第２動き検出部によって前記動きの変化が検出された変化タイミングに関する第２タイミングデータを生成する第２データ生成部と、前記第２データ生成部によって生成された前記第２タイミングデータを前記情報処理装置に送信する送信部と、を備える通信装置と、を有し、前記情報処理装置は、前記第１撮像部による撮像中に、前記送信部を介して前記第２タイミングデータを前記通信装置から受信する受信部と、前記第１タイミングデータと前記第２タイミングデータとに基づいて、前記第１撮像部によって撮像された被写体と前記第２撮像部によって撮像された被写体とが同一又は類似の被写体か否かを判定する判定部と、を更に備える、情報処理システムが提供される。
以上説明したように本開示によれば、視点が異なる複数の装置によって被写体が撮像された際に、容易に同一又は類似の被写体の抽出を行うことが可能となる。
第１の実施形態に係る情報処理システムの構成を示す図である。 ユーザ端末とＴＶ装置で撮像された画像間でユーザの顔向きが異なることを説明するための模式図である。 ユーザ端末の詳細構成を示す図である。 コード生成部により生成されたタイミングデータとしてのコードの例を示す。 第１の実施形態に係るＴＶ装置の詳細構成を示す図である。 ＴＶ装置とユーザ端末で生成されたタイムテーブル列を示す図である。 判定部による判定処理のアルゴリズム例を示す図である。 情報処理システムの動作例を示すフローチャートである。 第２の実施形態に係るＴＶ装置の詳細構成を示す図である。 表示部による表示例を示す図である。 第３の実施形態に係る情報処理システムを示す図である。 ペアリング処理が実行される際の情報処理システムの動作を説明するためのシーケンス図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
１．第１の実施形態
１−１．情報処理システムの構成
１−２．ユーザ端末の詳細構成
１−３．ＴＶ装置の詳細構成
１−４．情報処理システムの動作
２．第２の実施形態
３．第３の実施形態
＜１．第１の実施形態＞
（１−１．情報処理システムの構成）
図１を参照しながら、第１の実施形態に係る情報処理システム１０の構成について説明する。図１は、第１の実施形態に係る情報処理システム１０の構成を示す図である。
図１に示すように、情報処理システム１０は、通信装置の一例であるユーザ端末１００Ａ、１００Ｂ、１００Ｃと、情報処理装置の一例であるＴＶ装置２００と、を有する。ユーザ端末１００Ａ、１００Ｂ、１００Ｃと、ＴＶ装置２００とは、無線ネットワーク等を介して通信を行うことが可能である。なお、図１では、ユーザ端末が３つ示されているが、ユーザ端末の数は３つに限定されない。
ユーザ端末１００Ａ、１００Ｂ、１００Ｃは、ユーザにより使用される携帯電話、ＰＤＡ、パーソナルコンピュータ等の端末である。ユーザ端末１００Ａ、１００Ｂ、１００Ｃ（以下では、説明の便宜上、総称してユーザ端末１００とも呼ぶ）は、カメラ等の撮像部１３０を有し、端末の使用者であるユーザを被写体として撮像する。すなわち、ユーザは、ユーザ端末１００を用いて自分撮りを行うことが可能である。例えば、ユーザ端末１００Ａは、ユーザ端末１００Ａの使用者であるユーザＡを撮像し、ユーザ端末１００Ｂは、ユーザ端末１００Ｂの使用者であるユーザＢを撮像し、ユーザ端末１００Ｃは、ユーザ端末１００Ｃの使用者であるユーザＣを撮像する。また、ユーザ端末１００は、撮像中のユーザの顔を検出する顔検出機能を有する。各ユーザＡ、Ｂ、Ｃの顔は、実際には、図１と異なり、ユーザ端末１００Ａ、１００Ｂ、１００Ｃを向いている。なお、ユーザ端末１００の詳細構成については、後述する。
ＴＶ装置２００は、映像等の画像を表示する装置である。ＴＶ装置２００は、ユーザ端末１００と同様に撮像部２３０を有し、ユーザ端末１００Ａ、１００Ｂ、１００Ｃの使用者であるユーザＡ、Ｂ、Ｃ（単に、ユーザとも呼ぶ）を被写体として撮像する。また、ＴＶ装置２００は、撮像中のユーザの顔を検出する顔検出機能を有する。なお、ＴＶ装置２００の詳細構成については、後述する。
ところで、本実施形態の情報処理システム１０において、ユーザ端末１００とＴＶ装置２００が、同じタイミングでユーザを撮像するケースがある。例えば、ユーザ端末１００ＡとＴＶ装置２００が、同じタイミングでユーザＡを撮像する。かかる際に、ユーザＡに対するユーザ端末１００ＡとＴＶ装置２００の視点が異なるので、撮像された画像間でユーザＡの顔向きが異なる。
図２は、ユーザ端末１００ＡとＴＶ装置２００で撮像された画像間でユーザの顔向きが異なることを説明するための模式図である。図２に示すように、ユーザ端末１００Ａの撮像部１３０はユーザＡに対面して位置するので、撮像部１３０によって撮像された画像（静止画像）には、正面を見ているユーザＡが含まれている。一方で、ＴＶ装置２００の撮像部２３０はユーザＡに対して斜めに位置するので、撮像部２３０によって撮像された画像には、斜めを見ているユーザＡが含まれている。
このようにユーザ端末１００とＴＶ装置２００が異なる視点でユーザを撮像しても、容易に同一又は類似のユーザの抽出を行うために、ユーザ端末１００とＴＶ装置２００は、協働して以下のような処理を行う。
すなわち、詳細は後述するが、まず、ＴＶ装置２００は、撮像部２３０によって撮像されるユーザの動きの変化（例えば、ユーザの目の瞬き）を検出し、ユーザの動きの変化が検出された変化タイミングに関するタイミングデータ（以下、第１タイミングデータとも呼ぶ）を生成する。同様に、ユーザ端末１００も、撮像部１３０によって撮像されるユーザの動きの変化（例えば、ユーザの目の瞬き）を検出し、ユーザの動きの変化が検出された変化タイミングに関するタイミングデータ（以下、第２タイミングデータとも呼ぶ）を生成する。
次に、ＴＶ装置２００は、撮像部２３０による撮像中に、ユーザ端末１００が生成した第２タイミングデータをユーザ端末１００から受信する。そして、ＴＶ装置２００は、第１タイミングデータと第２タイミングデータとに基づいて、撮像部２３０によって撮像されたユーザと撮像部１３０によって撮像されたユーザと同一又は類似のユーザか否かを判定する。
かかる構成の場合には、視点が異なる複数の装置によってユーザが撮像された場合に、ユーザの顔向きが異なることがあっても、顔の動きのタイミングに基づいて同一のユーザを撮像しているかを判定できる。このため、視点が異なる複数の装置によってユーザが撮像された際に、容易に同一又は類似のユーザの抽出を行うことが可能となる。
（１−２．ユーザ端末の詳細構成）
図３を参照しながら、図１のユーザ端末１００Ａ、１００Ｂ、１００Ｃ（ここでは、ユーザ端末１００と総称する）の詳細構成について説明する。図３は、ユーザ端末１００の詳細構成を示す図である。
図３に示すように、ユーザ端末１００は、入力部１１０と、表示部１２０と、撮像部１３０と、通信部１４０と、記憶部１５０と、制御部１６０と、を有する。
入力部１１０は、ユーザ端末１００のユーザからの操作情報の入力を受け付ける機能を有する。例えば、入力部１１０は、撮像部１３０に撮像を行わせるためにユーザが操作した際の入力を受け付ける。入力部１１０は、スイッチ、ボタン、タッチパネル、キーボード、マウス等の入力装置により構成される。
表示部１２０は、制御部１６０による制御に基づいて、各種情報を表示する機能を有する。例えば、表示部１２０は、撮像部１３０により撮像された画像を表示する。表示部１２０は、液晶ディスプレイ、プラズマディスプレイ、有機ＥＬディスプレイ等の表示装置により構成される。
撮像部１３０は、被写体を撮像する機能を有する。例えば、撮像部１３０は、ユーザ端末１００の使用者であるユーザを撮像する。すなわち、ユーザ端末１００のユーザは、自分撮りを行う。撮像部１３０により撮像された画像データは、画像処理等され、制御部１６０に順次入力される。例えば、撮像部１３０は、一定間隔で、撮像された画像データ（フレーム）を制御部１６０に出力する。撮像部１３０は、レンズと撮像素子を有するカメラ等の撮像装置により構成される。
通信部１４０は、制御部１６０による制御に基づいて、ＴＶ装置２００と通信を行う送信部及び受信部としての機能を有する通信インタフェースである。通信部１４０は、有線又は無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ用の通信カード、通信用ルータ、通信用モデム等の通信装置により構成される。
記憶部１５０は、制御部１６０により使用される各種情報を記憶する機能を有する。例えば、記憶部１５０は、撮像部１３０により撮像された画像データを記憶する。記憶部１５０は、磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス等のストレージ装置により構成される。
制御部１６０は、ユーザ端末１００の動作全体を制御する機能を有しており、例えば、入力部１１０から出力された操作情報、通信部１４０により受信された情報などに基づいてユーザ端末１００の動作を制御することが可能である。制御部１６０は、ＣＰＵ、ＲＯＭ、ＲＡＭにより構成される。
図３に示すように、制御部１６０は、顔検出部１６１と、動き検出部１６２と、コード生成部１６３と、通信制御部１６４と、を有する。
顔検出部１６１は、撮像部１３０から順次入力された画像データを解析し、解析した画像データの中からユーザの顔を検出する機能を有する。顔検出部１６１は、撮像部１３０から入力される各画像データの中からユーザの顔を検出する。顔検出部１６１は、検出された顔に関する情報を動き検出部１６２に出力する。例えば、顔検出部１６１は、ユーザ端末１００のユーザが自分撮りをしている際に、ユーザの顔を検出し、検出した顔に関する情報を動き検出部１６２に出力する。
動き検出部１６２は、顔検出部１６１から入力された顔に関する情報に基づいて、撮像部１３０によって撮像されるユーザの顔の動きの変化を検出する機能を有する。例えば、動き検出部１６２は、ユーザの動きの変化としてユーザの目の動き（具体的には、目の瞬き）を検出する。ここで、瞬きはユーザが無意識に行うものであるので、ユーザが意図的に顔を動かさなくても、動き検出部１６２は、瞬きを検出することで容易にユーザの動きの変化を検出できる。動き検出部１６２は、検出した目の動きに関する情報（目を瞬いたタイミングに関する情報も含む）を、コード生成部１６３に出力する。なお、上記では、ユーザの目の動きを検出することとしたが、これに限定されない。例えば、ユーザの顔の動きの変化として唇の動きを検出することとしても良い。
コード生成部１６３は、動き検出部１６２から入力された顔の動き（目の動き）に関する情報に基づいて、動き検出部１６２によって目の動きの変化が検出された変化タイミングに関するタイミングデータ（第２タイミングデータ）を生成する機能を有する。コード生成部１６３は、生成した第２タイミングデータを通信制御部１６４に出力する。
ここで、図４を参照しながら、生成されたタイミングデータについて説明する。図４は、コード生成部１６３により生成されたタイミングデータとしてのコードの例を示す。ここで、図４に示すコードは、通信部１４０による処理が容易となるように、ＸＭＬ（ｅＸｔｅｎｓｉｎｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）で表現されている。また、図４のｔｉｍｅｓｔａｍｐタグの属性には、動き検出部１６２がユーザの目の瞬きを検出した時刻が記述されている。検出された時刻として、ユーザ端末１００の内部時計の絶対時刻が記述されている。
図３に戻って、制御部１６０の構成の説明を続ける。通信制御部１６４は、通信部１４０によるＴＶ装置２００との通信を制御する。例えば、通信制御部１６４は、コード生成部１６３によって生成された第２タイミングデータをＴＶ装置２００に送信するように、通信部１４０を制御する。通信部１４０は、第２タイミングデータを所定量のパケットデータとして、ＴＶ装置２００に送信する。この際に、通信制御部１６４は、ＴＶ装置２００による処理の負担の増加を抑制するために、所定量のパケットデータに対応する第２タイミングデータを送信させている。なお、通信制御部１６４は、ＴＶ装置２００との通信遅延時間の計測を行うことにより、ユーザ端末１００とＴＶ装置２００の内部時計の同期を行う。このアルゴリズムが、公知のＮＴＰ（Ｎｅｔｗｏｒｋ Ｔｉｍｅ Ｐｒｏｔｏｃｏｌ）プロトコル等を実装することで実現される。
（１−３．ＴＶ装置の詳細構成）
図５を参照しながら、ＴＶ装置２００の詳細構成について説明する。図５は、第１の実施形態に係るＴＶ装置２００の詳細構成を示す図である。
図５に示すように、ＴＶ装置２００は、入力部２１０と、表示部２２０と、撮像部２３０と、通信部２４０と、記憶部２５０と、制御部２６０と、を有する。
入力部２１０は、ＴＶ装置２００のユーザからの操作情報の入力を受け付ける機能を有する。例えば、入力部２１０は、撮像部２３０に撮像を行わせるためにユーザが操作した際の入力を受け付ける。入力部２１０は、スイッチ、ボタン、タッチパネル、キーボード、マウス等の入力装置により構成される。
表示部２２０は、制御部２６０による制御に基づいて、各種情報を表示する機能を有する。例えば、表示部２２０は、撮像部２３０により撮像された画像を表示する。表示部２２０は、液晶ディスプレイ、プラズマディスプレイ、有機ＥＬディスプレイ等の表示装置により構成される。
撮像部２３０は、被写体を撮像する機能を有する。例えば、撮像部２３０は、ユーザ端末１００の使用者であるユーザ（図１においては、ユーザ端末１００ＡのユーザＡ、ユーザ端末１００ＢのユーザＢ、ユーザ端末１００ＣのユーザＣ）を撮像する。撮像部２３０により撮像された画像データは、画像処理等され、制御部２６０に順次入力される。例えば、撮像部２３０は、一定間隔で、撮像された画像データ（フレーム）を制御部２６０に出力する。撮像部２３０は、レンズと撮像素子を有するカメラ等の撮像装置により構成される。
通信部２４０は、制御部２６０による制御に基づいて、ユーザ端末１００と通信を行う送信部及び受信部としての機能を有する通信インタフェースである。通信部２４０は、撮像部２３０による撮像中に、ユーザ端末１００で生成された第２タイミングデータを、ユーザ端末１００から受信する。通信部２４０は、有線又は無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ用の通信カード、通信用ルータ、通信用モデム等の通信装置により構成される。
記憶部２５０は、制御部２６０により使用される各種情報を記憶する機能を有する。例えば、記憶部２５０は、撮像部２３０により撮像された画像データを記憶する。記憶部２５０は、磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス等のストレージ装置により構成される。
制御部２６０は、ＴＶ装置２００の動作全体を制御する機能を有しており、例えば、入力部２１０から出力された操作情報、通信部２４０により受信された情報などに基づいてＴＶ装置２００の動作を制御することが可能である。制御部２６０は、ＣＰＵ、ＲＯＭ、ＲＡＭにより構成される。
図５に示すように、制御部２６０は、顔検出部２６１と、動き検出部２６２と、コード生成部２６３と、通信制御部２６４と、判定部２６５と、を有する。
顔検出部２６１は、撮像部２３０から順次入力された画像データを解析し、解析した画像データの中からユーザ（ユーザＡ、ユーザＢ、ユーザＣ）の顔を検出する機能を有する。顔検出部２６１は、撮像部２３０から入力される各画像データの中からユーザの顔を検出する。顔検出部２６１は、検出された顔に関する情報を動き検出部２６２に出力する。
動き検出部２６２は、顔検出部２６１から入力された顔に関する情報に基づいて、撮像部２３０によって撮像されるユーザ（ユーザＡ、ユーザＢ、ユーザＣ）の顔の動きの変化を検出する機能を有する。例えば、動き検出部２６２は、ユーザの動きの変化としてユーザの目の動き（具体的には、目の瞬き）を検出する。ここで、瞬きはユーザが無意識に行うものであるので、ユーザが意図的に顔を動かさなくても、動き検出部２６２は、瞬きを検出することで容易にユーザの動きの変化を検出できる。動き検出部２６２は、検出した目の動きに関する情報（目を瞬いたタイミングに関する情報も含む）を、コード生成部２６３に出力する。なお、上記では、ユーザの目の動きを検出することとしたが、これに限定されない。例えば、ユーザの顔の動きの変化として唇の動きを検出することとしても良い。
コード生成部２６３は、動き検出部２６２から入力された顔の動き（目の動き）に関する情報に基づいて、動き検出部２６２によって目の動きの変化が検出された変化タイミングに関するタイミングデータ（第１タイミングデータ）を生成する機能を有する。コード生成部２６３は、生成した第１タイミングデータを判定部２６５に出力する。
通信制御部２６４は、通信部２４０によるユーザ端末１００との通信を制御する。例えば、通信制御部２６４は、撮像部２３０による撮像中に、ユーザ端末１００で生成された第２タイミングデータを通信部２４０に受信させるように制御する。通信制御部２６４は、通信部２４０によって受信された第２タイミングデータを判定部２６５に出力する。
判定部２６５は、撮像部２３０によって撮像された被写体とユーザ端末１００によって撮像された被写体とが同一又は類似の被写体か否かを判定する。具体的には、判定部２６５は、コード生成部２６３によって生成された第１タイミングデータと通信部２４０によって受信された第２タイミングデータとに基づいて、２つの被写体が同一又は類似であるか否かを判定する。かかる場合には、２つのタイミングデータに基づいて判定を行うので、画像同士を比較する場合に比べて処理量を低減でき、この結果、リアルタイムに同一又は類似のユーザを抽出することが可能となる。
また、判定部２６５は、第１タイミングデータにおける変化タイミングと第２タイミングデータにおける変化タイミングとの差が所定値よりも小さい場合に、撮像部２３０によって撮像された被写体とユーザ端末１００によって撮像された被写体とが同一又は類似の被写体であると判定しうる。これにより、ユーザ端末１００とＴＶ装置２００のユーザに対する異なる視点に起因して検出された２つのタイミングデータがずれている場合でも、高い確率で同一又は類似のユーザを抽出できる。
ところで、第１タイミングデータ及び第２タイミングデータは、それぞれ、一定期間内の異なるタイミングで検出された複数の変化タイミングを含む（後述する図６Ａ参照）。かかる場合に、判定部２６５は、第１タイミングデータ及び第２タイミングデータに含まれる互いに対応した変化タイミング同士を、それぞれ比較する（例えば、タイミングの誤差を比較する）。そして、判定部２６５は、比較した変化タイミング間の差が所定値よりも小さい回数の割合が、所定割合よりも大きい場合に、同一又は類似の被写体であると判定しうる。これにより、より高い確率で、視点が異なるユーザ端末１００とＴＶ装置２００で撮像された同一又は類似のユーザを抽出できる。
ここで、図６Ａ、図６Ｂを参照しながら、判定部２６５による具体的な判定処理について説明する。なお、図６Ａは、ＴＶ装置２００とユーザ端末１００で生成されたタイムテーブル列を示す図である。図６Ｂは、判定部２６５による判定処理のアルゴリズム例を示す図である。
図６Ａにおいて、ｔｉはＴＶ装置２００において生成されたタイムテーブル列（第１タイミングデータ）を示し、ｕｉはユーザ端末１００において生成されたタイムテーブル列（第２タイミングデータ）を示す。ｔｉとｕｉは、ユーザが目を瞬いた瞬間のタイミングを示す。ここでは、説明の便宜上、タイムテーブル列ｕｉは、図１のユーザ端末１００Ａ、１００Ｂ、１００Ｃのうち一つのユーザ端末において生成されたものとする。
図６Ｂのアルゴリズムにおいて、判定部２６５は、まず、ＴｍｉｎとＴｍａｘを算出する。ＴｍｉｎとＴｍａｘは、それぞれ、ｔｉとｕｉが共通でカバーしている範囲（以下、時刻範囲とも呼ぶ）の最小値、第大値である。図６Ａにおいては、Ｔｍｉｎはｕ２であり、Ｔｍａｘはｔ１２である。
次に、判定部２６５は、ｉｍｉｎとｉｍａｘを算出する。ｉｍｉｎとｉｍａｘは、それぞれ、時刻範囲に含まれるｔｉのインデックスの最小値、最大値である。図６Ａにおいては、ｉｍｉｎはｔ９であり、ｉｍａｘはｔ１２である。
次に、判定部２６５は、時刻範囲中のｔｉに対して、最も近いｕを求める。図６Ａにおいては、ｔ９に対してｕ３が、ｔ１０に対してｕ４が、ｔ１１に対してｕ５が、ｔ１２に対してｕ６が、それぞれ最も近い。
次に、判定部２６５は、上記で求めたｔｉとｕの２つのタイムスタンプの誤差ｅｒｒを求める。すなわち、判定部２６５は、ｔ９とｕ３の誤差と、ｔ１０とｕ４の誤差と、ｔ１１とｕ５の誤差と、ｔ１２とｕ６の誤差を求める。そして、判定部２６５は、求めた誤差ｅｒｒが上限値ＥＲＲｍａｘ以下である回数をカウントする。
次に、判定部２６５は、時刻範囲中の全てのｔｉに対応するｕが見つかった割合ｓｃｏｒｅを求める。このように求めた割合ｓｃｏｒｅが、所定の基準値（例えば、９０％）以上の場合、判定部２６５は、ＴＶ装置２００とユーザ端末１００が個別に認識したユーザの顔は同一又は類似のものであると判定する。
なお、上記では、判定のアルゴリズムとして、ｔｉとｕの２つのタイムスタンプの誤差ｅｒｒを求めて、ユーザの顔が同一又は類似であるか否かを判定するものを例に挙げて説明したが、これに限定されない。例えば、ｔｉにおける変化タイミングの差分と、ｕｉにおける変化タイミングの差分とを比較して、ユーザの顔が同一又は類似であるか否かを判定するアルゴリズムであっても良い。
また、第１の実施形態においては、判定部２６５がＴＶ装置２００に設けられていることとして説明したが、これに限定されない。例えば、判定部は、ＴＶ装置２００の代わりにユーザ端末１００に設けられても良く、また、ＴＶ装置２００及びユーザ端末１００の両方に設けられても良い。
また、第１の実施形態においては、撮像部２３０が第１撮像部に該当し、撮像部１３０が第２撮像部に該当する。また、動き検出部２６２が第１動き検出部に該当し、動き検出部１６２が第２動き検出部に該当し、コード生成部２６３が第１データ生成部に該当し、コード生成部１６３が第２データ生成部に該当する。
（１−４．情報処理システムの動作）
図７を参照しながら、情報処理システム１０の動作例について説明する。図７は、情報処理システム１０の動作例を示すフローチャートである。図７のフローチャートは、図１に示すように、自分撮りをしているユーザ端末１００のユーザを、ＴＶ装置２００が撮像するところから開始される。
本処理は、ユーザ端末１００の制御部１６０のＣＰＵ（コンピュータ）、及びＴＶ装置２００の制御部２６０のＣＰＵ（コンピュータ）が、それぞれＲＯＭに格納されているプログラムを実行することによって、実現される。なお、実行されるプログラムは、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｋ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）、メモリカード等の記録媒体に記憶されても良く、インターネットを介してサーバ等からダウンロードされても良い。
まず、ユーザ端末１００は、撮像部１３０により撮像された画像を取り込む。同様に、ＴＶ装置２００も、撮像部２３０により撮像された画像を取り込む（ステップＳ１０２）。次に、ユーザ端末１００の顔検出部１６１は、撮像部１３０から入力された画像中の顔を検出する。同様に、ＴＶ装置２００の顔検出部２６１も、撮像部２３０から入力された画像中の顔を検出する（ステップＳ１０４）。
検出された顔に対して図４で示すコードを生成する処理は、ユーザ端末１００とＴＶ装置２００で同様であるので、以下では、ＴＶ装置２００側での処理例を説明する。
次に、ＴＶ装置２００の動き検出部２６２は、１フレーム前に検出している顔集合（ｉｄ＝０、・・・、ｎ）のうちで、もっとも距離が近い顔（ｉｄ＝ａ）との距離ｄｉｓｔを求める（ステップＳ１０６）。そして、動き検出部２６２は、求めた距離ｄｉｓｔが所定の閾値以上であるか否かを判定する（ステップＳ１０８）。
ステップＳ１０８で距離ｄｉｓｔが閾値以上である場合には（Ｙｅｓ）、動き検出部２６２は、新規に登場した顔として新しいｉｄ（＝ｂ）を割り振る（ステップＳ１１０）。そして、コード生成部２６３は、新しいｉｄ（＝ｂ）の顔に対するコード（タイミングデータ）を生成する（ステップＳ１１４）。
ステップＳ１０８で距離ｄｉｓｔが閾値未満である場合には（Ｎｏ）、動き検出部２６２は、既にｉｄが割り振られた顔（ｉｄ＝ａ）に対するコード（タイミングデータ）を取り出す（ステップＳ１１２）。
ステップＳ１１２又はステップＳ１１４後に、動き検出部２６２は、目の瞬きを検出したか否かを判定する（ステップＳ１１６）。ステップＳ１１６で目の瞬きが検出された場合には（Ｙｅｓ）、コード生成部２６３は、生成したコード又は取り出したコードに瞬きの瞬間のタイムスタンプを追加する（ステップＳ１１８）。
これにより、ＴＶ装置２００は、図４に示すタイミングデータを生成することになる。同様に、ユーザ端末１００も、上述した処理Ｓ１０６〜Ｓ１１８を行うことにより、図４に示すタイミングデータを生成することになる。なお、上記のステップＳ１０６〜Ｓ１１８の処理は、ステップＳ１０４で検出された顔が複数ある場合には、検出した顔毎に実行される。
ステップＳ１０２の画像の取り込みから一定時間経過すると、ユーザ端末１００とＴＶ装置２００は、顔毎のコードを他の装置に送信する（ステップＳ１２２）。次に、ユーザ端末１００とＴＶ装置２００は、他の装置からコードを受信したか否かを判定する（ステップＳ１２４）。
以下では、ＴＶ装置２００がユーザ端末１００からコードを受信したものとして説明する。ステップＳ１２４でＴＶ装置２００がユーザ端末１００からコード（ｉｄ＝ｘ）を受信すると（Ｙｅｓ）、ＴＶ装置２００の判定部２６５は、保持している顔集合のコード（ｉｄ＝０、・・・ｎ）と、受信した顔のコード（ｉｄ＝ｘ）の間で、前述した図６Ｂの判定処理を行う（ステップＳ１２６）。ここで、判定部２６５は、顔集合のコードのうち、受信した顔のコード（ｉｄ＝ｘ）に対応した顔のコード（ｉｄ＝ｍとする）と、受信した顔のコードとを比較判定する。
判定部２６５は、判定処理において、顔（ｉｄ＝ｘ）のコードと顔（ｉｄ＝ｍ）のコードとの間で、図６Ｂの割合ｓｃｏｒｅが所定の基準値よりも大きいか否かを判定する（ステップＳ１２８）。ステップＳ１２８で割合ｓｃｏｒｅが基準値よりも大きい場合には（Ｙｅｓ）、判定部２６５は、２つのコードに係る顔が同一（又は類似）の顔であると判定する（ステップＳ１３０）。
なお、ステップＳ１２６でＴＶ装置２００が複数のユーザ端末１００からコードを受信した場合には、判定部２６５は、受信した顔のコード毎に、上記のステップＳ１２６〜Ｓ１３０の処理を実行する。
第１の実施形態によれば、ＴＶ装置２００は、撮像部２３０による撮像中に、ユーザ端末１００が生成した第２タイミングデータをユーザ端末１００から受信する。そして、ＴＶ装置２００は、第１タイミングデータと第２タイミングデータとに基づいて、撮像部２３０によって撮像されたユーザと撮像部１３０によって撮像されたユーザと同一又は類似のユーザか否かを判定する。
かかる構成の場合には、視点が異なるＴＶ装置２００とユーザ端末１００によってユーザが撮像された場合に、ユーザの顔向きが異なることがあっても、顔の動きのタイミングに基づいて同一のユーザを撮像しているかを判定できる。このため、視点が異なるＴＶ装置２００とユーザ端末１００によってユーザが撮像された際に、容易に同一又は類似のユーザの抽出を行うことが可能となる。特に、特定の顔画像を事前に記憶する必要が無いので、リアルタイムに同一又は類似のユーザの抽出を行うことが可能となる。なお、上記では、ユーザ端末１００のユーザを抽出することとしたが、ＴＶ装置２００とユーザ端末１００が撮像したユーザ以外の人物を抽出することも可能である。
＜２．第２の実施形態＞
図８を参照しながら、第２の実施形態に係るＴＶ装置３００について説明する。図８は、第２の実施形態に係るＴＶ装置３００の詳細構成を示す図である。ＴＶ装置３００の構成は、前述した図５のＴＶ装置２００と同様の構成であるが、ＴＶ装置３００の制御部３６０の構成が、ＴＶ装置２００の制御部２６０の構成と異なる。そこで、以下においては、制御部３６０の構成について主に説明する。なお、説明を省く構成の機能等については、図５に示す構成と同様である。
第２の実施形態に係るＴＶ装置３００も、図１に示すように、３つのユーザ端末１００Ａ、１００Ｂ、１００ＣのユーザＡ、Ｂ、Ｃを撮像可能である。また、ユーザＡ、Ｂ、Ｃは、各自のユーザ端末１００Ａ、１００Ｂ、１００Ｃを入力デバイスとして、ＴＶ装置３００に対して操作を行うことができる。
図８に示すように、制御部３６０は、前述した顔検出部２６１、動き検出部２６２、コード生成部２６３、通信制御部２６４、及び判定部２６５に加えて、表示制御部３６６と、関連付け部３６７と、を有する。
表示制御部３６６は、表示部２２０の表示を制御する。例えば、表示制御部３６６は、撮像部２３０によって撮像されるユーザ（図１に示すユーザ端末１００ＡのユーザＡ、ユーザ端末１００ＢのユーザＢ、ユーザ端末１００ＣのユーザＣ）に対応する画像を、図９に示すように表示部２２０に表示させる。
図９は、表示部２２０による表示例を示す図である。図９においては、撮像部２３０によって撮像されるユーザに対応する画像として、ユーザＡの顔を示す顔画像Ｉ１、ユーザＢの顔を示す顔画像Ｉ２、及びユーザＣの顔を示す顔画像Ｉ３が、それぞれ表示画面の下側に表示されている。なお、表示画面の上側には、画像（写真画像等）が示されている。
関連付け部２６７は、判定部２６５によって、撮像部２３０が撮像したユーザとユーザ端末１００が撮像したユーザとが同一又は類似のユーザであると判定された場合に、表示部２２０に表示された顔画像とユーザ端末１００とを関連づける。図９においては、関連付け部２６７は、顔画像Ｉ１をユーザ端末１００Ａと関連付け、顔画像Ｉ２をユーザ端末１００Ｂと関連付け、顔画像Ｉ３をユーザ端末１００Ｃと関連付ける。これにより、ＴＶ装置３００（表示部２２０に表示されている顔画像）と各ユーザ端末１００Ａ、１００Ｂ、１００Ｃとの間で対応関係が自動的に確立されるので、ユーザが、ＴＶ装置３００（具体的には顔画像）とユーザ端末との対応付けを行う操作が不要となる。
ところで、ユーザ（ＴＶ装置３００のユーザやユーザ端末１００のユーザ）は、図９の表示画面上で操作を行うことが可能であり、例えば顔画像Ｉ１、Ｉ２、Ｉ３に対して操作を行いうる。このため、ＴＶ装置３００の入力部２１０は、関連付け部２６７によってユーザ端末１００と関連付けられた画像に対する、操作を受け付けることになる。
例えば、ユーザが図９に示す表示画面上の写真画像Ｐ１を顔画像Ｉ１の上にドラッグ・アンド・ドロップすると、通信部２４０は、写真画像Ｐ１を顔画像Ｉ１に関連付けられたユーザ端末１００Ａに送信する。同様に、通信部２４０は、写真画像Ｐ２を顔画像Ｉ２に関連付けられたユーザ端末１００Ｂに送信し、写真画像Ｐ３を顔画像Ｉ３に関連付けられたユーザ端末１００Ｃに送信する。このように、通信制御部２６４は、入力部２１０によって顔画像に対する操作を受け付けられた際に、顔画像が関連付けられたユーザ端末１００と通信を行うように通信部２４０を制御し、操作に対応した処理を行う。
第２実施形態によれば、ＴＶ装置３００に表示されている顔画像と各ユーザ端末１００Ａ、１００Ｂ、１００Ｃとの間で対応関係が自動的に確立されるので、ユーザが、ＴＶ装置３００に表示された顔画像とユーザ端末との対応付けを行う操作が不要となる。また、画面上のユーザによる直感的な操作で、データ送信等の通信が可能となる。
＜３．第３の実施形態＞
図１０を参照しながら、第３の実施形態に係る情報処理システム１１について説明する。図１０は、第３の実施形態に係る情報処理システム１１を示す図である。
図１０に示す情報処理システム１１は、同一のネットワーク上に存在するユーザ端末１００、ＴＶ装置２００、及びＴＶ装置４００を有する。ただし、ＴＶ装置２００とユーザ端末１００が同じ部屋に位置し、ＴＶ装置４００が壁を隔てて別の部屋に位置する。このため、ＴＶ装置２００は、ユーザ端末１００のユーザを撮像できるが、ＴＶ装置４００は、ユーザ端末１００のユーザを撮像できない。
第３の実施形態においても、ユーザ端末１００、ＴＶ装置２００、及びＴＶ装置４００は、図４で説明したコード（タイミングデータ）を生成する。ここで、生成されたコードは、通信接続を確立するためのペアリング時にＰＩＮコードとして送信される。そして、送受信されたコードが一致する装置同士で通信が確立される。これにより、同じ部屋に位置するユーザ端末１００とＴＶ装置２００が、安全にペアリングすることができる。
図１１は、ペアリング処理が実行される際の情報処理システム１１の動作を説明するためのシーケンス図である。
まず、ユーザ端末１００は、同一ネットワーク上に存在するデバイス（ここでは、ＴＶ装置２００とＴＶ装置４００）に対して、デバイス探索のためのパケットをブロードキャストする（ステップＳ２０２、Ｓ２０４）。ＴＶ装置２００及びＴＶ装置４００は、デバイス探索のパケットを受信すると、ユーザ端末１００に対して応答パケットを送信する（ステップＳ２０６、Ｓ２０８）。
次に、ユーザ端末１００、ＴＶ装置２００、及びＴＶ装置４００は、それぞれ、前述したように図４に示すコード（タイミングデータ）を生成する処理を行う（ステップＳ２１０、Ｓ２１２、Ｓ２１４）。ここで、ユーザ端末１００及びＴＶ装置２００は、ユーザ端末１００のユーザを撮像するので、ユーザの顔の動き（目の瞬き）に対応したコードを生成する。一方で、ＴＶ装置４００は、ユーザ端末１００のユーザを撮像できないので、ユーザ端末１００のユーザの顔の動きに対応しないコードが生成される（又は、コードが生成されないものとしても良い）。なお、上記では、応答パケットの送信後にコードの生成が行われることとしたが、これに限定されず、例えば応答パケットの送信前にコードの生成が行われてもよい。
次に、ユーザ端末１００は、ステップＳ２１２で生成したコードをＰＩＮコードとして、ＴＶ装置２００及びＴＶ装置４００に送信する（ステップＳ２１６、Ｓ２１８）。すなわち、図４のコードが、通信接続を確立するためのペアリング時のＰＩＮコードの機能も有することとなり、専用のＰＩＮコードの生成が不要となる。
ＴＶ装置２００の判定部２６５は、通信部２４０によりユーザ端末１００から受信したコードと、ステップＳ２１０で生成したコードを比較する（ステップＳ２２０）。ここで、ＴＶ装置２００とユーザ端末１００は同一のユーザを撮像しているので、判定部２６５は、２つのコードは同一であると判定する。そして、ＴＶ装置２００の通信制御部２６４は、接続要求の受け入れパケットをユーザ端末１００に送信する（ステップＳ２２２）。
同様に、ＴＶ装置４００も、ユーザ端末１００から受信したコードと、ステップＳ２１４で生成したコードを比較する（ステップＳ２２４）。ここで、ＴＶ装置４００は、ユーザ端末１００のユーザを撮像できないので、２つのコードは同一でないと判定する。そして、ＴＶ装置４００は、接続要求の拒絶パケットをユーザ端末１００に送信する（ステップＳ２２６）。
そして、同一ネットワーク上のユーザ端末１００、ＴＶ装置２００、４００のうちの同一の部屋に位置するユーザ端末１００及びＴＶ装置４００が、互いに接続を確立し、その後に通信を行う（ステップＳ２２８）。これにより、第３の実施形態のペアリング処理が終了する。
第３の実施形態によれば、同じ部屋に位置する機器（ユーザ端末１００とＴＶ装置２００）を、ユーザを撮像して生成されたコードを用いて識別できるので、簡易な方法にて、ユーザ端末１００とＴＶ装置２００を安全にペアリングすることができる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、上記の実施形態では、動き検出部はユーザの顔のパーツ（目や唇）の動きを検出することとしたが、これに限定されない。例えば、ユーザの手や足等の動きを検出することとしても良い。また、上記の実施形態では、被写体としてユーザを例に挙げて説明したが、これに限定されず、動きのある被写体であれば良く、例えば動物であっても良い。
また、上記の実施形態のフローチャートに示されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的に又は個別的に実行される処理をも含む。また時系列的に処理されるステップでも、場合によっては適宜順序を変更することが可能であることは言うまでもない。
なお、以下のような構成も本開示の技術的範囲に属する。
（１）被写体を撮像する撮像部と、
前記撮像部によって撮像される前記被写体の動きの変化を検出する動き検出部と、
前記動き検出部によって前記動きの変化が検出された変化タイミングに関する第１タイミングデータを生成するデータ生成部と、
前記撮像部による撮像中に、他の装置によって撮像される被写体の動きが検出された変化タイミングに関する第２タイミングデータを、前記他の装置から受信する受信部と、
前記データ生成部によって生成された前記第１タイミングデータと前記受信部によって受信された前記第２タイミングデータとに基づいて、前記撮像部によって撮像された被写体と前記他の装置によって撮像された被写体とが同一又は類似の被写体か否かを判定する判定部と、
を備える、情報処理装置。
（２）前記判定部は、前記第１タイミングデータにおける変化タイミングと前記第２タイミングデータにおける変化タイミングとの差が所定値よりも小さい場合に、前記撮像部によって撮像された被写体と前記他の装置によって撮像された被写体とが前記同一又は類似の被写体であると判定する、前記（１）に記載の情報処理装置。
（３）前記第１タイミングデータ及び前記第２タイミングデータは、それぞれ、一定期間内の異なるタイミングで検出された複数の変化タイミングを含み、
前記判定部は、
前記第１タイミングデータ及び前記第２タイミングデータに含まれる互いに対応した変化タイミング同士を、それぞれ比較し、
比較された変化タイミング間の差が前記所定値よりも小さい回数の割合が、所定割合よりも大きい場合に、前記同一又は類似の被写体であると判定する、前記（２）に記載の情報処理装置。
（４）前記動き検出部は、前記被写体の動きの変化として人物の目の瞬きを検出する、前記（１）〜（３）のいずれか１項に記載の情報処理装置。
（５）前記撮像部によって撮像される前記被写体に対応する画像を表示部に表示させる表示制御部と、
前記判定部によって、前記撮像部によって撮像された被写体と前記他の装置によって撮像された被写体とが同一又は類似の被写体であると判定された場合に、前記表示部に表示された画像と前記他の装置とを関連づける関連付け部と、
を更に備える、前記（１）〜（４）のいずれか１項に記載の情報処理装置。
（６）前記関連付け部によって前記他の装置と関連付けられた前記画像に対する、操作を受け付ける入力部と、
前記入力部によって前記操作を受け付けられた際に、前記他の装置と通信を行う通信制御部と、
を更に備える、前記（５）に記載の情報処理装置。
（７）前記受信部は、前記第２タイミングデータを、前記他の装置と通信接続を確立するためのペアリング時のＰＩＮコードとして受信する、前記（１）〜（６）のいずれか１項に記載の情報処理装置。
（８）前記判定部によって、前記撮像部によって撮像された被写体と前記他の装置によって撮像された被写体とが同一又は類似の被写体であると判定された場合に、前記他の装置と通信接続を確立させる通信制御部を更に備える、前記（７）に記載の情報処理装置。
（９）一の装置の撮像部によって撮像される被写体の動きの変化を検出することと、
前記動きの変化が検出された変化タイミングに関する第１タイミングデータを生成することと、
前記撮像部による撮像中に、他の装置によって撮像される被写体の動きが検出された変化タイミングに関する第２タイミングデータを、前記他の装置から受信することと、
生成された前記第１タイミングデータと、受信された前記第２タイミングデータとに基づいて、前記撮像部によって撮像された被写体と前記他の装置によって撮像された被写体とが同一又は類似の被写体か否かを判定することと、
を含む、情報処理方法。
（１０）コンピュータに、
一の装置の撮像部によって撮像される被写体の動きの変化を検出することと、
前記動きの変化が検出された変化タイミングに関する第１タイミングデータを生成することと、
前記撮像部による撮像中に、他の装置によって撮像される被写体の動きが検出された変化タイミングに関する第２タイミングデータを、前記他の装置から受信することと、
生成された前記第１タイミングデータと、受信された前記第２タイミングデータとに基づいて、前記撮像部によって撮像された被写体と前記他の装置によって撮像された被写体とが同一又は類似の被写体か否かを判定することと、
を実行させるための、プログラム。
（１１）被写体を撮像する第１撮像部と、前記第１撮像部によって撮像される前記被写体の動きの変化を検出する第１動き検出部と、前記第１動き検出部によって前記動きの変化が検出された変化タイミングに関する第１タイミングデータを生成する第１データ生成部と、を備える情報処理装置と、
被写体を撮像する第２撮像部と、前記第２撮像部によって撮像される前記被写体の動きの変化を検出する第２動き検出部と、前記第２動き検出部によって前記動きの変化が検出された変化タイミングに関する第２タイミングデータを生成する第２データ生成部と、前記第２データ生成部によって生成された前記第２タイミングデータを前記情報処理装置に送信する送信部と、を備える通信装置と、
を有し、
前記情報処理装置は、
前記第１撮像部による撮像中に、前記送信部を介して前記第２タイミングデータを前記通信装置から受信する受信部と、
前記第１タイミングデータと前記第２タイミングデータとに基づいて、前記第１撮像部によって撮像された被写体と前記第２撮像部によって撮像された被写体とが同一又は類似の被写体か否かを判定する判定部と、
を更に備える、情報処理システム。
１０ 情報処理システム
１００ ユーザ端末
１１０ 入力部
１２０ 表示部
１３０ 撮像部
１４０ 通信部
１５０ 記憶部
１６０ 制御部
１６１ 顔検出部
１６２ 動き検出部
１６３ コード生成部
１６４ 通信制御部
２００ ＴＶ装置
２１０ 入力部
２２０ 表示部
２３０ 撮像部
２４０ 通信部
２５０ 記憶部
２６０ 制御部
２６１ 顔検出部
２６２ 動き検出部
２６３ コード生成部
２６４ 通信制御部
２６５ 判定部
３６０ 制御部
３６６ 表示制御部
３６７ 関連付け部

Claims (10)

  1. 被写体を撮像する撮像部と、
    前記撮像部によって撮像される前記被写体の動きの変化を検出する動き検出部と、
    前記動き検出部によって前記動きの変化が検出された変化タイミングに関する第１タイミングデータを生成するデータ生成部と、
    前記撮像部による撮像中に、他の装置によって撮像される被写体の動きが検出された変化タイミングに関する第２タイミングデータを、前記他の装置から受信する受信部と、
    前記データ生成部によって生成された前記第１タイミングデータと前記受信部によって受信された前記第２タイミングデータとに基づいて、前記撮像部によって撮像された被写体と前記他の装置によって撮像された被写体とが同一又は類似の被写体か否かを判定する判定部と、
    を備える、情報処理装置。
  2. 前記判定部は、前記第１タイミングデータにおける変化タイミングと前記第２タイミングデータにおける変化タイミングとの差が所定値よりも小さい場合に、前記撮像部によって撮像された被写体と前記他の装置によって撮像された被写体とが前記同一又は類似の被写体であると判定する、請求項１に記載の情報処理装置。
  3. 前記動き検出部は、前記被写体の動きの変化として人物の目の瞬きを検出する、請求項１に記載の情報処理装置。
  4. 前記撮像部によって撮像される前記被写体に対応する画像を表示部に表示させる表示制御部と、
    前記判定部によって、前記撮像部によって撮像された被写体と前記他の装置によって撮像された被写体とが同一又は類似の被写体であると判定された場合に、前記表示部に表示された画像と前記他の装置とを関連づける関連付け部と、
    を更に備える、請求項１に記載の情報処理装置。
  5. 前記関連付け部によって前記他の装置と関連付けられた前記画像に対する、操作を受け付ける入力部と、
    前記入力部によって前記操作を受け付けられた際に、前記他の装置と通信を行う通信制御部と、
    を更に備える、請求項４に記載の情報処理装置。
  6. 前記受信部は、前記第２タイミングデータを、前記他の装置と通信接続を確立するためのペアリング時のＰＩＮコードとして受信する、請求項１に記載の情報処理装置。
  7. 前記判定部によって、前記撮像部によって撮像された被写体と前記他の装置によって撮像された被写体とが同一又は類似の被写体であると判定された場合に、前記他の装置と通信接続を確立させる通信制御部を更に備える、請求項６に記載の情報処理装置。
  8. 情報処理装置が備える動き検出部が、一の装置の撮像部によって撮像される被写体の動きの変化を検出することと、
    前記情報処理装置が備えるデータ生成部が、前記動きの変化が検出された変化タイミングに関する第１タイミングデータを生成することと、
    前記情報処理装置が備える受信部が、前記撮像部による撮像中に、他の装置によって撮像される被写体の動きが検出された変化タイミングに関する第２タイミングデータを、前記他の装置から受信することと、
    前記情報処理装置が備える判定部が、生成された前記第１タイミングデータと、受信された前記第２タイミングデータとに基づいて、前記撮像部によって撮像された被写体と前記他の装置によって撮像された被写体とが同一又は類似の被写体か否かを判定することと、
    を含む、情報処理方法。
  9. コンピュータに、
    一の装置の撮像部によって撮像される被写体の動きの変化を検出することと、
    前記動きの変化が検出された変化タイミングに関する第１タイミングデータを生成することと、
    前記撮像部による撮像中に、他の装置によって撮像される被写体の動きが検出された変化タイミングに関する第２タイミングデータを、前記他の装置から受信することと、
    生成された前記第１タイミングデータと、受信された前記第２タイミングデータとに基づいて、前記撮像部によって撮像された被写体と前記他の装置によって撮像された被写体とが同一又は類似の被写体か否かを判定することと、
    を実行させるための、プログラム。
  10. 被写体を撮像する第１撮像部と、前記第１撮像部によって撮像される前記被写体の動きの変化を検出する第１動き検出部と、前記第１動き検出部によって前記動きの変化が検出された変化タイミングに関する第１タイミングデータを生成する第１データ生成部と、を備える情報処理装置と、
    被写体を撮像する第２撮像部と、前記第２撮像部によって撮像される前記被写体の動きの変化を検出する第２動き検出部と、前記第２動き検出部によって前記動きの変化が検出された変化タイミングに関する第２タイミングデータを生成する第２データ生成部と、前記第２データ生成部によって生成された前記第２タイミングデータを前記情報処理装置に送信する送信部と、を備える通信装置と、
    を有し、
    前記情報処理装置は、
    前記第１撮像部による撮像中に、前記送信部を介して前記第２タイミングデータを前記通信装置から受信する受信部と、
    前記第１タイミングデータと前記第２タイミングデータとに基づいて、前記第１撮像部によって撮像された被写体と前記第２撮像部によって撮像された被写体とが同一又は類似の被写体か否かを判定する判定部と、
    を更に備える、情報処理システム。
JP2011117610A 2011-05-26 2011-05-26 情報処理装置、情報処理方法、プログラム、及び情報処理システム Active JP5699802B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2011117610A JP5699802B2 (ja) 2011-05-26 2011-05-26 情報処理装置、情報処理方法、プログラム、及び情報処理システム
US13/474,252 US8803982B2 (en) 2011-05-26 2012-05-17 Information processing apparatus, information processing method, program, and information processing system for determining a subject as being imaged by a plurality of imaging devices
CN201210157380.0A CN102999450B (zh) 2011-05-26 2012-05-18 信息处理装置、信息处理方法和信息处理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011117610A JP5699802B2 (ja) 2011-05-26 2011-05-26 情報処理装置、情報処理方法、プログラム、及び情報処理システム

Publications (2)

Publication Number Publication Date
JP2012247888A JP2012247888A (ja) 2012-12-13
JP5699802B2 true JP5699802B2 (ja) 2015-04-15

Family

ID=47218997

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011117610A Active JP5699802B2 (ja) 2011-05-26 2011-05-26 情報処理装置、情報処理方法、プログラム、及び情報処理システム

Country Status (3)

Country Link
US (1) US8803982B2 (ja)
JP (1) JP5699802B2 (ja)
CN (1) CN102999450B (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101919008B1 (ko) * 2012-02-24 2018-11-19 삼성전자주식회사 정보 제공 방법 및 이를 위한 이동 단말기
KR101894395B1 (ko) * 2012-02-24 2018-09-04 삼성전자주식회사 캡쳐 데이터 제공 방법 및 이를 위한 이동 단말기
JP6270325B2 (ja) * 2013-03-15 2018-01-31 キヤノン株式会社 情報処理装置およびその制御方法
TWI578184B (zh) * 2013-12-27 2017-04-11 由田新技股份有限公司 基於眼部開闔狀態的密碼輸入方法及應用其之保全裝置
CN104751114B (zh) * 2013-12-27 2018-09-18 由田新技股份有限公司 通过眼部开闭状态控制的验证系统及其手持式控制装置
CN105205420A (zh) * 2015-10-16 2015-12-30 上海斐讯数据通信技术有限公司 一种电子装置及其应用的密码输入方法及装置
CN105709418A (zh) * 2015-12-31 2016-06-29 联想(北京)有限公司 电子设备及其信息处理方法和信息处理装置
US11721308B2 (en) 2018-11-21 2023-08-08 Sony Corporation Information processing apparatus and information processing method

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004354420A (ja) * 2003-05-27 2004-12-16 Fuji Photo Film Co Ltd 自動撮影システム
JP2007114885A (ja) * 2005-10-18 2007-05-10 National Institute Of Information & Communication Technology 画像の類似性による分類方法及び装置
WO2007059301A2 (en) * 2005-11-16 2007-05-24 Integrated Equine Technologies Llc Automated video system for context-appropriate object tracking
WO2007136332A1 (en) * 2006-05-22 2007-11-29 Axis Ab Method and apparatus for identifying properties of an object detected by a video surveillance camera
US20080278589A1 (en) * 2007-05-11 2008-11-13 Karl Ola Thorn Methods for identifying a target subject to automatically focus a digital camera and related systems, and computer program products
US8144939B2 (en) * 2007-11-08 2012-03-27 Sony Ericsson Mobile Communications Ab Automatic identifying
CN100568262C (zh) * 2007-12-29 2009-12-09 浙江工业大学 基于多摄像机信息融合的人脸识别检测装置
JP2010056720A (ja) * 2008-08-27 2010-03-11 Panasonic Corp ネットワークカメラおよびネットワークカメラシステム
US9615064B2 (en) * 2010-12-30 2017-04-04 Pelco, Inc. Tracking moving objects using a camera network
JP2012186535A (ja) * 2011-03-03 2012-09-27 Nikon Corp 電子機器及びグループ化方法

Also Published As

Publication number Publication date
JP2012247888A (ja) 2012-12-13
US20120300086A1 (en) 2012-11-29
CN102999450B (zh) 2016-12-14
CN102999450A (zh) 2013-03-27
US8803982B2 (en) 2014-08-12

Similar Documents

Publication Publication Date Title
JP5699802B2 (ja) 情報処理装置、情報処理方法、プログラム、及び情報処理システム
US11196930B1 (en) Display device content selection through viewer identification and affinity prediction
US9277165B2 (en) Video surveillance system and method using IP-based networks
US20190026559A1 (en) Information display method, device, and system
EP2693394B1 (en) Information processor, information processing method, computer program and storage medium
EP2453386B1 (en) Multimedia device, multiple image sensors having different types and method for controlling the same
US20160062456A1 (en) Method and apparatus for live user recognition
US20130169530A1 (en) Human eye controlled computer mouse interface
KR101895846B1 (ko) 소셜 네트워킹 툴들과의 텔레비전 기반 상호작용의 용이화
US11763720B2 (en) Methods, systems, and media for detecting a presentation of media content on a display device
US9305227B1 (en) Hybrid optical character recognition
US20180183997A1 (en) Automatic detection of panoramic gestures
CN111565298B (zh) 视频处理方法、装置、设备及计算机可读存储介质
JP2010225118A (ja) 画像処理装置、方法及びプログラム
CN105892637A (zh) 手势识别方法及虚拟现实显示输出设备
JP6267350B2 (ja) データ処理装置、データ処理システム、データ処理方法及びプログラム
CN113454634A (zh) 信息处理系统、信息处理装置、信息处理方法和程序
KR101411636B1 (ko) 스마트 티비 기반의 상황 인지를 통한 엔스크린 서비스 제공 시스템, 장치, 방법 및 컴퓨터 판독 가능한 기록 매체
EP2925009A1 (en) Viewer engagement estimating system and method of estimating viewer engagement
US20230267741A1 (en) Analysis system and control method for analysis system
KR101525223B1 (ko) 데이터 이동 시스템, 데이터 이동 방법 및 이를 수행하기 위한 프로그램을 포함하는 컴퓨터로 판독 가능한 기록매체
JP2024129396A (ja) 不審行動検知装置、不審行動検知方法、プログラム及び記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140403

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141028

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141031

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141215

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150120

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150202

R151 Written notification of patent or utility model registration

Ref document number: 5699802

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250