JP6044633B2 - 情報処理装置、情報処理方法およびプログラム - Google Patents

情報処理装置、情報処理方法およびプログラム Download PDF

Info

Publication number
JP6044633B2
JP6044633B2 JP2014507489A JP2014507489A JP6044633B2 JP 6044633 B2 JP6044633 B2 JP 6044633B2 JP 2014507489 A JP2014507489 A JP 2014507489A JP 2014507489 A JP2014507489 A JP 2014507489A JP 6044633 B2 JP6044633 B2 JP 6044633B2
Authority
JP
Japan
Prior art keywords
user
unit
specifying
information processing
captured image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014507489A
Other languages
English (en)
Other versions
JPWO2013145874A1 (ja
Inventor
俊一 笠原
俊一 笠原
脩 繁田
脩 繁田
誠司 鈴木
誠司 鈴木
遼 深澤
遼 深澤
麻紀 森
麻紀 森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2013145874A1 publication Critical patent/JPWO2013145874A1/ja
Application granted granted Critical
Publication of JP6044633B2 publication Critical patent/JP6044633B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/60—Static or dynamic means for assisting the user to position a body part for biometric acquisition
    • G06V40/67—Static or dynamic means for assisting the user to position a body part for biometric acquisition by interactive indications to the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/029—Location-based management or tracking services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Studio Devices (AREA)
  • Stored Programmes (AREA)
  • Telephone Function (AREA)
  • Collating Specific Patterns (AREA)

Description

本開示は、情報処理装置、情報処理方法およびプログラムに関する。
近年、撮像画像に映っている人物を特定するための技術が開発されている。例えば、撮像画像に映っている顔領域とあらかじめ用意された顔画像とを照合し、照合結果に基づいて撮像画像に映っている人物を特定する技術が開示されている（例えば、特許文献１参照）。この技術によれば、人物の特定に成功した場合に扉の開閉がなされるため、セキュリティを強化することが可能となる。
セキュリティ強化を目的とする場合だけではなく、撮像画像に映っている人物を特定するための技術は、様々な場面に応用されている。
特開２００９−３６５９号公報
しかしながら、撮像画像からユーザを特定しようとする場合、ユーザの特定に必ずしも成功するとは限らない。例えば、撮像装置の方をユーザが向いていないという状況も想定され、そのような状況ではユーザの特徴部分が撮像画像に映っておらず、ユーザの特定に失敗する可能性がある。したがって、撮像画像からユーザを容易に特定するための技術が実現されることが望ましい。
本開示によれば、撮像画像を取得する画像取得部と、携帯端末のユーザに関するパラメータを取得するパラメータ取得部と、前記パラメータに基づいて前記撮像画像から前記ユーザを特定する特定部と、前記特定部により前記ユーザが特定されない場合、前記ユーザの特定に必要なユーザの動作を示す情報が前記携帯端末に表示されるように制御する表示制御部と、を備える、情報処理装置が提供される。
また、本開示によれば、撮像画像を取得することと、携帯端末のユーザに関するパラメータを取得することと、前記パラメータに基づいて前記撮像画像に映る１以上の被写体から前記ユーザを特定することと、前記ユーザが特定されない場合、前記ユーザの特定に必要なユーザの動作を示す情報が前記携帯端末に表示されるように制御することと、を含む、情報処理方法が提供される。
また、本開示によれば、コンピュータを、撮像画像を取得する画像取得部と、携帯端末のユーザに関するパラメータを取得するパラメータ取得部と、前記パラメータに基づいて前記撮像画像に映る１以上の被写体から前記ユーザを特定する特定部と、前記特定部により前記ユーザが特定されない場合、前記ユーザの特定に必要なユーザの動作を示す情報が前記携帯端末に表示されるように制御する表示制御部と、を備える情報処理装置として機能させるためのプログラムが提供される。
以上説明したように本開示によれば、撮像画像からユーザを容易に特定することが可能である。
本実施形態の概要を説明するための図である。 本実施形態に係る情報処理システムの構成を示す図である。 本実施形態に係る情報処理装置の機能構成例を示すブロック図である。 情報処理装置が有するユーザ特定機能の概要を示す図である。 ユーザ特定に失敗した場合における携帯端末の表示例を示す図である。 ユーザ特定に成功した場合における携帯端末の表示例を示す図である。 ユーザ特定に失敗した場合における携帯端末の表示例を示す図である。 ユーザ特定に失敗した場合における携帯端末の表示例を示す図である。 ユーザ特定に失敗した場合における携帯端末の表示例を示す図である。 情報処理装置が有する構図判定機能の概要を示す図である。 第１のモード設定時における表示画像について説明するための図である。 第２のモード設定時における表示画像について説明するための図である。 表示画像の決定手法のバリエーションについて説明するための図である。 決定された表示画像の一例を示す図である。 情報処理装置による構図判定動作の流れを示すフローチャートである。 情報処理装置による表現変更機能の一例を示す図である。 情報処理装置による表現変更機能の一例を示す図である。 情報処理装置による表現変更機能の一例を示す図である。 情報処理装置による表現変更機能の一例を示す図である。 情報処理装置による表現変更機能の一例を示す図である。 情報処理装置による表現変更機能の一例を示す図である。 情報処理装置による表現変更機能の一例を示す図である。 情報処理装置による表現変更動作の流れを示すフローチャートである。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
また、以下に示す項目順序に従って当該「発明を実施するための形態」を説明する。
１．ユーザ特定機能
２．構図判定機能
３．表現変更機能
４．むすび
本実施形態に係る情報処理装置が有する機能は、ユーザ特定機能、構図判定機能および表現変更機能に大別される。まず、各機能について説明する前に、各機能の前提となる条件について説明する。
図１は、本実施形態の概要を説明するための図である。図１に示すように、携帯端末２０を有するユーザＵが実空間に存在している。ユーザＵは実空間内のどこに存在していてもよい。また、携帯端末２０には画像を表示する機能が設けられており、ユーザＵは携帯端末２０により表示された画面を閲覧することが可能である。ユーザＵは、携帯端末２０とは別に設けられている撮像装置３０により撮像される。撮像装置３０が設けられる位置は特に限定されないが、例えば、監視カメラのように建物内に取り付けられていてもよいし、乗り物などの移動体に取り付けられていてもよい。また、撮像装置３０の種類は特に限定されないが、例えば、赤外線カメラなどであってもよい。
図２は、本実施形態に係る情報処理システムの構成を示す図である。図２に示すように、情報処理システム１は、情報処理装置１０と携帯端末２０と撮像装置３０とを備えている。図２には、情報処理装置１０と携帯端末２０とがネットワーク４０を介して接続されている例が示されているが、ネットワーク４０に接続される携帯端末２０は１つでなくてもよい。例えば、携帯端末２０が複数存在し、複数の携帯端末２０の各々がネットワーク４０に接続されていてもよい。
また、図２に示したように、情報処理装置１０と撮像装置３０とも接続されている。図２に示した例では、１つの撮像装置３０が情報処理装置１０に接続されているが、撮像装置３０は１つでなくてもよい。例えば、撮像装置３０が複数存在し、複数の撮像装置３０の各々が情報処理装置１０に接続されていてもよい。
また、図２に示した例では、情報処理装置１０は、携帯端末２０および撮像装置３０と別体に構成されているが、携帯端末２０に組み込まれていてもよいし、撮像装置３０に組み込まれていてもよい。撮像装置３０により撮像された撮像画像は情報処理装置１０を介して携帯端末２０に提供され、携帯端末２０は撮像画像を表示することが可能である。情報処理装置１０は、撮像装置３０から提供される撮像画像を用いて、ユーザ特定機能、構図判定機能および表現変更機能を発揮することができる。
図３は、本実施形態に係る情報処理装置１０の機能構成例を示すブロック図である。図３に示したように、情報処理装置１０は、処理制御部１００、表示制御部１６０および記憶部５０を備える。また、処理制御部１００は、画像取得部１１１、パラメータ取得部１１２、候補抽出部１１３、特定部１１４および認証部１１５を備える。画像取得部１１１、パラメータ取得部１１２、候補抽出部１１３、特定部１１４および認証部１１５は、主に、情報処理装置１０が有するユーザ特定機能に関わるブロックである。
また、処理制御部１００は、認識部１２１、条件判定部１２２、情報付加部１２３、モード設定部１２４、構図判定部１２５および画像決定部１２６を備える。処理制御部１００は、認識部１２１、条件判定部１２２、情報付加部１２３、モード設定部１２４、構図判定部１２５および画像決定部１２６は、主に、情報処理装置１０が有する構図判定機能に関わるブロックである。
また、処理制御部１００は、変更検出部１３１および表現変更部１３２を備える。変更検出部１３１および表現変更部１３２は、主に、情報処理装置１０が有する表現変更機能に関わるブロックである。
処理制御部１００および表示制御部１６０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）またはＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）などのプロセッサに相当する。処理制御部１００および表示制御部１６０は、記憶部５０または他の記憶媒体に記憶されるプログラムを実行することにより、処理制御部１００および表示制御部１６０が有する様々な機能を発揮する。
記憶部５０は、半導体メモリまたはハードディスクなどの記憶媒体を用いて、処理制御部１００および表示制御部１６０による処理のためのプログラムおよびデータを記憶する。例えば、記憶部５０は、物体認識のために使用される特徴量辞書を記憶する。さらに、記憶部５０は、物体認識の結果として生成される認識結果を記憶することもできる。図３に示した例では、記憶部５０が情報処理装置１０に組み込まれているが、記憶部５０と情報処理装置１０とは別体に構成されてもよい。
以上、各機能の前提について説明した。以下では、これらの各機能について順を追って説明する。
＜１．ユーザ特定機能＞
まず、情報処理装置１０が有するユーザ特定機能について説明する。図４は、情報処理装置１０が有するユーザ特定機能の概要を示す図である。まず、画像取得部１１１は、撮像装置３０により撮像された撮像画像を取得する。図４に示した例では、撮像画像の例として、図１に示された実空間が撮像された撮像画像Ｉｍｇが画像取得部１１１により取得されている。画像取得部１１１により取得された撮像画像は、携帯端末２０により表示されるように表示制御部１６０により制御される。
ユーザ特定機能によれば、画像取得部１１１により取得された撮像画像に映っている被写体からユーザが特定される。ユーザ特定の目的は特に限定されないが、ここでは、情報処理装置１０により何らかのネットワークサービスが提供されており、ユーザＵが携帯端末２０を介してネットワークサービスにログインするためにユーザの特定がなされることを想定している。
ネットワークサービスの種類も特に限定されないが、ここでは、ネットワークサービスへのログインが完了している携帯端末を用いて、ユーザ自身がメッセージの書き込みを行ったりユーザ自身や他のユーザが書き込んだメッセージを閲覧したりすることができるサービスを想定している。ユーザの特定がなされるタイミングは特に限定されないが、例えば、ユーザによってユーザ特定を要求するための操作が携帯端末２０に対してなされたときであってもよい。ユーザ特定を要求するための操作は、ネットワークサービスへのログインを要求するための操作であってもよい。
撮像画像に映っている被写体からユーザを特定するため、パラメータ取得部１１２は、特定すべきユーザに関するパラメータを取得する。パラメータ取得部１１２によりパラメータが取得されるタイミングは特に限定されないが、例えば、ユーザが有する携帯端末２０からあらかじめ取得されてもよいし、ユーザの特定がなされる際に携帯端末２０から取得されてもよい。
パラメータ取得部１１２により取得されるパラメータの種類は特に限定されない。例えば、図４に示すように、パラメータ取得部１１２は、ユーザの顔画像をパラメータＰ１として取得してもよいし、ユーザの動きを示すセンサデータをパラメータＰ２として取得してもよい。ユーザの顔画像を撮像する装置は特に限定されない。ユーザの顔画像は、例えば、携帯端末２０により撮像された顔画像であってもよいし、他の装置によって撮像された顔画像であってもよい。
また、ユーザの動きを検出するセンサは特に限定されない。ユーザの動きを検出するセンサは、加速度センサであってもよいし、ＧＰＳ信号の受信センサであってもよいし、Ｗｉ−ｆｉ基地局から送信される電波の受信センサであってもよい。また、ユーザの動きを検出するセンサは、携帯端末２０に組み込まれていてもよいし、ユーザの身体に取り付けられていてもよい。
特定部１１４によるユーザの特定がなされる前に、候補抽出部１１３によりユーザの候補の特定がなされてもよい（ステップＳ１１）。例えば、携帯端末２０に入力されるユーザ操作（例えば、タッチパネルへのタッチ操作）により携帯端末２０に表示されている撮像画像上の座標が指定された場合、パラメータ取得部１１２はその座標を取得し、候補抽出部１１３は、その座標により選択される被写体（例えば、その座標に存在する被写体）をユーザの候補として特定してもよい。ユーザの候補を特定しておくことによりユーザの特定に要する負荷が軽減される。
特定部１１４は、パラメータ取得部１１２により取得されたパラメータに基づいて撮像画像からユーザの特定を試みる（ステップＳ１２）。例えば、特定部１１４は、パラメータ取得部１１２によりユーザの顔画像がパラメータＰ１として取得された場合には、画像取得部１１１により取得された撮像画像に映る被写体の顔領域とユーザの顔画像との照合に基づいて抽出される被写体をユーザとして特定すればよい。例えば、特定部１１４は、ユーザの顔画像と閾値を超える類似度の顔領域を有する被写体をユーザとして特定すればよい。
また、例えば、特定部１１４は、パラメータ取得部１１２によりユーザの動きを示すセンサデータがパラメータＰ２として取得された場合には、画像取得部１１１により取得された撮像画像から検出される被写体の動きとセンサデータとの照合に基づいて抽出される被写体をユーザとして特定すればよい。例えば、特定部１１４は、撮像画像におけるユーザの動きと閾値を超える類似度のセンサデータが検出された被写体をユーザとして特定すればよい。なお、ユーザの候補が特定されている場合には、特定部１１４は、ユーザの候補からパラメータに基づいてユーザを特定すればよい。
特定部１１４によりユーザの特定が試みられた結果、ユーザが特定されない状況も想定される。例えば、類似度が閾値を超えない場合などがそのような状況に該当する。したがって、表示制御部１６０は、特定部１１４によりユーザが特定されない場合、ユーザの特定に必要なユーザの動作を示す情報が携帯端末２０に表示されるように携帯端末２０を制御する。表示制御部１６０の制御に従って、携帯端末２０にはユーザの動作を示す情報が表示される（ステップＳ１３）。
図５は、ユーザ特定に失敗した場合における携帯端末２０の表示例を示す図である。例えば、表示制御部１６０は、特定部１１４によりユーザが特定されない場合、撮像装置側に顔を向けることを促す情報が携帯端末２０に表示されるように携帯端末２０を制御してもよい。図５には、撮像装置３０が監視カメラである場合を想定し、表示制御部１６０は、「監視カメラの方に顔を向けてください」というメッセージＭ１が携帯端末２０に表示されるように携帯端末２０を制御している例が示されている。
図４に戻って説明を続ける。特定部１１４によりユーザが特定された場合、ステップＳ１５に移行される前に、認証部１１５は、特定部１１４により特定された携帯端末２０に対する認証処理を行ってもよい（ステップＳ１４）。具体的には、認証部１１５は、例えば、図４に示したように、携帯端末２０に入力されるユーザ操作によりパスワードが入力された場合、入力されたパスワードとあらかじめ登録されているパスワードとが一致するか否かにより認証の成否を決めてもよい。認証が成功した場合にはステップＳ１５に移行されるが、認証が失敗した場合にはステップＳ１５に移行されずに再度認証処理が行われてもよい。
ステップＳ１５に移行された場合、例えば、ネットワークサービスへのログインを完了させ（ステップＳ１５）、表示制御部１６０は、携帯端末２０により撮像画像および付加情報が表示されるように携帯端末２０を制御する。表示制御部１６０の制御に従って、携帯端末２０には撮像画像および付加情報が表示される（ステップＳ１６）。付加情報は特に限定されないが、例えば、ユーザ自身や他のユーザが書き込んだメッセージであってもよい。
図６は、ユーザ特定に成功した場合における携帯端末２０の表示例を示す図である。例えば、表示制御部１６０は、特定部１１４によりユーザが特定された場合、撮像画像および付加情報が表示されるように携帯端末２０を制御する。図６には、表示制御部１６０が、付加情報として他のユーザが書き込んだメッセージが表示されるように携帯端末２０を制御している例が示されている。
なお、撮像装置側に顔を向けることを促す情報は、図５に示した例に限定されない。図７は、ユーザ特定に失敗した場合における携帯端末２０の表示例を示す図である。表示制御部１６０は、候補抽出部１１３により抽出されたユーザの候補の位置とあらかじめ設定された撮像装置３０の位置とに基づいて、ユーザの特定に必要なユーザの動作を示す情報が携帯端末２０に表示されるように携帯端末２０を制御してもよい。
例えば、図７に示すように、表示制御部１６０は、ユーザの候補の位置を基準として、ユーザの候補の向いている方向への直線および撮像装置３０の存在する方向への直線が携帯端末２０に表示されるように携帯端末２０を制御してもよい。また、図７に示すように、表示制御部１６０は、ユーザの候補の向いている方向への直線から撮像装置３０の存在する方向への直線への回転方向を示す矢印が携帯端末２０に表示されるように携帯端末２０を制御してもよい。また、図７に示すように、表示制御部１６０は、ユーザから見た場合の回転方向を示すメッセージとして「Ｔｕｒｎ Ｌｅｆｔ」というメッセージＭ２が携帯端末２０に表示されるように携帯端末２０を制御してもよい。
また、特定部１１４によりユーザが特定されない場合、ユーザを特定する手法が切り換えられてもよい。図８は、ユーザ特定に失敗した場合における携帯端末２０の表示例を示す図である。表示制御部１６０は、特定部１１４によりユーザが特定されない場合、他の特定手法によりユーザを特定する旨を示す情報が携帯端末２０に表示されるように制御してもよい。例えば、表示制御部１６０は、他の特定手法によりユーザを特定する旨を示す情報として「ユーザを特定する手法を切り換えます」というメッセージＭ３が携帯端末２０に表示されるように携帯端末２０を制御してもよい。特定部１１４は、他の特定手法により抽出される被写体をユーザとして特定すればよい。
例えば、特定部１１４は、撮像画像に映る被写体の顔領域とユーザの顔画像との照合に基づいて抽出される被写体をユーザとして特定するように試みたとする。この場合に、ユーザが特定されなかった場合には、特定部１１４は、撮像画像から検出される被写体の動きとセンサデータとの照合に基づいて抽出される被写体をユーザとして特定するように試みてもよい。また、逆の順序でユーザ特定が試みられてもよい。
また、特定部１１４によりユーザが特定されない場合、撮像画像に映る他の被写体とユーザとの動きの違いが明確になるようにユーザを促してもよい。このように促すことにより、特定部１１４は、規定されている正常な範囲を逸脱した動きの被写体が撮像画像から検出された場合に、その被写体をユーザと特定することができる。
図９は、ユーザ特定に失敗した場合における携帯端末２０の表示例を示す図である。例えば、表示制御部１６０は、特定部１１４によりユーザが特定されない場合、携帯端末２０を動かすことを促す情報がユーザの特定に必要なユーザの動作を示す情報として携帯端末２０に表示されるように携帯端末２０を制御してもよい。例えば、図９に示したように、表示制御部１６０は、携帯端末２０を動かすことを促す情報として「携帯端末を動かして下さい」というメッセージＭ４が携帯端末２０に表示されるように携帯端末２０を制御してもよい。
以上に説明したように、情報処理装置１０が有するユーザ特定機能によれば、携帯端末のユーザに関するパラメータに基づいて撮像画像からユーザを特定することが試みられ、表示制御部１６０は、ユーザが特定されない場合、ユーザの特定に必要なユーザの動作を示す情報が携帯端末２０に表示されるように制御される。このような制御により、撮像画像からユーザが容易に特定されることが期待される。
＜２．構図判定機能＞
続いて、情報処理装置１０が有する構図判定機能について説明する。図１０は、情報処理装置１０が有する構図判定機能の概要を示す図である。上記したように、撮像装置３０により撮像画像が撮像されると、撮像画像がユーザの携帯端末２０に表示される。ユーザは携帯端末２０に表示された撮像画像を閲覧することが可能である。ここでは、ユーザが撮像画像を閲覧しながら目的地に向かう場面を想定し、このようなユーザが閲覧する撮像画像として好ましい構図の判定について説明する。
まず、ユーザの目的地を示す情報が設定される。ユーザの目的地を示す情報は、携帯端末２０に入力されるユーザ操作により入力されてもよいし、携帯端末２０により実行されるアプリケーションにより設定されてもよい。ユーザの目的地を示す情報は、例えば、実空間における位置で表現される。ユーザの目的地を示す情報は、情報処理装置１０により取得される。構図判定部１２５は、画像取得部１１１により取得された撮像画像をもとにしたユーザの認識結果とユーザの目的地を示す情報とに基づいて構図を判定する。構図は、画像における物体の理想的な位置（あるいは物体の理想的な向き）を示す図である。
ユーザの認識結果は、ユーザの進行方向とユーザの実空間における位置とを少なくとも含んでいる。例えば、ユーザの認識結果は、認識部１２１により取得される。すなわち、認識部１２１は、撮像画像をもとにしてユーザを認識することにより認識結果を得る。図１０に示した例では、ユーザの実空間における位置がＰｕとして示され、ユーザの進行方向がＶ１として示され、ユーザの位置Ｐｕを基準としたユーザの目的地の方向がＶ２として示されている。
例えば、構図判定部１２５は、認識結果としてユーザの位置が認識された場合、ユーザの位置を基準としたユーザの目的地の方向に基づいて構図を判定すればよい。例えば、図１０に示した例では、構図判定部１２５は、ユーザの位置Ｐｕを基準としたユーザの目的地の方向Ｖ２に基づいて構図を判定すればよい。構図判定部１２５は、例えば、Ｖ２に基づいて構図を判定する場合には、ユーザの位置Ｐｕを基準としてＶ２と逆方向の領域よりもユーザの位置Ｐｕを基準としてＶ２の方向の領域が広く収まるような画像を構図として判定すればよい。図１０には、このようにして判定される構図の例がＫ２として示されている。点Ｃ２は、構図Ｋ２の中央の点を示している。
また、構図判定部１２５は、例えば、認識結果としてユーザの進行方向が認識された場合、ユーザの進行方向に基づいて構図を判定すればよい。例えば、図１０に示した例では、構図判定部１２５は、ユーザの進行方向Ｖ１に基づいて構図を判定すればよい。構図判定部１２５は、例えば、Ｖ１に基づいて構図を判定する場合には、ユーザの位置Ｐｕを基準としてＶ１と逆方向の領域よりもユーザの位置Ｐｕを基準としてＶ１の方向の領域が広く収まるような画像を構図として判定すればよい。図１０には、このようにして判定される構図の例がＫ１として示されている。点Ｃ１は、構図Ｋ１の中央の点を示している。
構図判定部１２５は、画一的にユーザの進行方向Ｖ１に基づいて構図を判定してもよいし、画一的にユーザの位置Ｐｕを基準としたユーザの目的地の方向Ｖ２に基づいて構図を判定してもよいが、各々の判定手法のいずれかの手法を選択的に用いてもよい。すなわち、ユーザの進行方向Ｖ１に基づいて構図を判定するモードを第１のモードとし、ユーザの位置Ｐｕを基準としたユーザの目的地の方向Ｖ２に基づいて構図を判定するモードを第２のモードとした場合、モード設定部１２４は、この２つのモードのいずれかを設定してもよい。その場合、構図判定部１２５は、モード設定部１２４により設定されたモードに従って構図を判定してもよい。モードは、携帯端末２０に入力されるユーザ操作に基づいて設定されてもよいし、携帯端末２０により実行されるアプリケーションにより設定されてもよい。
画像決定部１２６は、構図判定部１２５により判定された構図に基づいて表示画像を決定する。画像決定部１２６は、例えば、構図判定部１２５により判定された構図に合致する画像を表示画像として決定してもよいし、選択可能な範囲内において構図判定部１２５により判定された構図に最も近い画像を表示画像として決定してもよい。表示制御部１６０は、画像決定部１２６により決定された表示画像が携帯端末２０に表示されるように携帯端末２０を制御する。
図１１は、第１のモード設定時における表示画像について説明するための図である。例えば、図１０に示したような撮像画像Ｉｍｇが取得され、モード設定部１２４により第１のモードが設定されている場合、ユーザの進行方向Ｖ１に基づいて構図Ｋ１が判定される。この場合、図１１に示すように、例えば、画像決定部１２６は、この構図Ｋ１に合致する画像を表示画像Ｄ１として決定してもよい。なお、構図判定部１２５は、ユーザが中央に存在する構図を判定してもよいが、図１１に示すように、ユーザが中央から所定距離ｄ１だけ離れた位置に存在する構図を判定してもよい。
なお、現在の撮像条件が判定されてもよい。すなわち、条件判定部１２２は、ユーザを撮像するための条件が整っているか否かを判定し、情報付加部１２３は、条件判定部１２２により条件が整っていないと判定された場合には、表示画像に対して条件が整っていない旨を示す情報を付加してもよい。例えば、条件判定部１２２により撮像可能領域が判定された場合には、情報付加部１２３は、撮像可能領域の限界を示すオブジェクトを表示画像に付加してもよい。
また、条件判定部１２２によりユーザの位置Ｐｕを基準としたユーザの進行方向Ｖ１に撮像可能領域の限界が判定された場合に、情報付加部１２３は、撮像可能領域の限界を示すオブジェクトを表示画像に付加してもよい。図１１には、ユーザの位置Ｐｕを基準としたユーザの進行方向Ｖ１に撮像可能領域の限界が判定されたため、撮像可能領域の限界を示すオブジェクトがＡ１として表示画像Ｄ１に付加されている。あるいは、条件判定部１２２によりユーザの位置Ｐｕと撮像可能領域の限界との距離が閾値よりも小さくなった場合に、情報付加部１２３は、撮像可能領域の限界を示すオブジェクトを表示画像に付加してもよい。
また、条件判定部１２２により撮像画像の輝度が閾値よりも小さくなった場合に、情報付加部１２３は、撮像条件の悪化を示すオブジェクトを表示画像に付加してもよい。このような処理により、進行方向を変更するようにユーザを促すことができるが、ユーザに提供される情報は、付加されるオブジェクトに限定されない。例えば、情報付加部１２３は、携帯端末２０が振動するように制御してもよいし、携帯端末２０からアラーム音が発せられるように制御してもよい。
図１２は、第２のモード設定時における表示画像について説明するための図である。例えば、図１０に示したような撮像画像Ｉｍｇが取得され、モード設定部１２４により第２のモードが設定されている場合、ユーザの位置Ｐｕを基準としたユーザの目的地の方向Ｖ２に基づいて構図Ｋ２が判定される。この場合、図１２に示すように、例えば、画像決定部１２６は、この構図Ｋ２に合致する画像を表示画像Ｄ２として決定してもよい。なお、構図判定部１２５は、ユーザが中央に存在する構図を判定してもよいが、図１２に示すように、ユーザが中央から所定距離ｄ２だけ離れた位置に存在する構図を判定してもよい。
以上においては、画像決定部１２６が、構図判定部１２５により判定された構図に基づいて、撮像装置３０により撮像された撮像画像の一部領域を切り出すことにより表示画像を決定する手法を用いることにした。撮像装置３０が固定カメラ１台であれば、このような手法しか採りえないが、撮像装置３０が、向き変更カメラである場合や、画角変更カメラである場合、撮像装置３０が複数台ある場合には、他の手法を採用することもできる。
ここで、固定カメラとは、撮像方向の変更や画角の変更が不可能なカメラを意味している。向き変更カメラは、可動カメラを意味しており、パン機能を有しているカメラでもよいし、チルト機能を有しているカメラでもよい。画角変更カメラは、画角を変更することが可能なカメラを意味している。図１３は、表示画像の決定手法のバリエーションについて説明するための図である。図１３に示すように、撮像装置３０が固定カメラである場合には、画像決定部１２６は、撮像画像から選択される領域を表示画像として決定するという手法を採る。
また、図１３に示すように、撮像装置３０が向き変更カメラである場合には、画像決定部１２６は、撮像画像を提供する撮像装置３０の撮像方向を決定し、決定した撮像方向により撮像される撮像画像を表示画像として決定する。例えば、画像決定部１２６は、構図判定部１２５により判定された構図に基づいて、撮像装置３０の撮像方向を決定する。より詳細には、画像決定部１２６は、構図判定部１２５により判定された構図に最も近い画像を撮像できる方向を、撮像装置３０の撮像方向として決定すればよい。
また、図１３に示すように、撮像装置３０が画角変更カメラである場合には、画像決定部１２６は、撮像画像を提供する撮像装置３０の画角を決定し、決定した画角により撮像される撮像画像を表示画像として決定する。例えば、画像決定部１２６は、構図判定部１２５により判定された構図に基づいて、撮像装置３０の画角を決定する。より詳細には、画像決定部１２６は、構図判定部１２５により判定された構図に最も近い画像を撮像できる画角を、撮像装置３０の画角として決定すればよい。
また、図１３に示すように、画像取得部１１１により複数の撮像装置３０の各々から提供される撮像画像が取得された場合、画像決定部１２６は、複数の撮像装置３０の各々から提供される撮像画像の中から選択される撮像画像を表示画像として決定する。例えば、画像決定部１２６は、構図判定部１２５により判定された構図に基づいて、複数の撮像装置３０の各々から提供される撮像画像の中から選択される撮像画像を表示画像として決定する。より詳細には、画像決定部１２６は、構図判定部１２５により判定された構図に最も近い撮像画像を、複数の撮像装置３０の各々から提供される撮像画像の中から選択し、選択した撮像画像を表示画像として決定すればよい。
なお、上記した例では、構図判定部１２５により判定された構図に最も近い画像を表示画像として用いることにしたが、構図との差分が閾値を超えてしまう画像しか取得されない場合には、表示画像が決定されないようにすることもできる。このような場合には、画像決定部１２６は、構図判定部１２５により判定された構図に基づいて表示画像を決定できない場合も想定される。したがって、かかる場合、画像決定部１２６は、構図以外の検出データに基づいて表示画像を決定してもよい。
検出データは特に限定されない。例えば、画像決定部１２６は、上記したようなセンサデータに基づいて特定部１１４により特定されたユーザの位置に最も近い位置を撮像した画像を表示画像として決定することもできる。また、画像決定部１２６は、映っている人物の数が最も少ない画像を表示画像として決定してもよいし、映っている人物の密度が最も小さい画像を表示画像として決定してもよい。さらに、画像決定部１２６は、最も広い範囲が撮像された画像を表示画像として決定してもよいし、最もよく利用される撮像画像を表示画像として決定してもよい。
また、撮像装置３０が存在しない場合などには、画像取得部１１１により撮像画像が取得されない場合も想定される。かかる場合、画像決定部１２６は、撮像画像以外のデータに基づいて検出されるユーザの位置とユーザの目的地を示す情報とに応じた画像を表示画像として決定してもよい。
例えば、ＧＰＳ信号の受信センサにより受信された信号に基づいてユーザの位置情報が取得された場合には、画像決定部１２６は、その位置情報とユーザの目的地を示す情報とを用いて、Ｗｅｂページなどから画像を検索してもよい。画像は、描画された地図であってもよいし、撮像された写真であってもよい。また、画像決定部１２６は、検索により複数の画像を取得した場合には、複数の画像を合成することにより生成される新たな画像を表示画像として決定してもよい。
図１４は、決定された表示画像の一例を示す図である。図１４に示すように、表示制御部１６０は、表示画像Ｄ２に、ユーザの位置Ｐｕを基準としたユーザの目的地までの距離を示すオブジェクトＯｂｊ１、目的地までの距離および目的地に到着する予定時刻を示すオブジェクトＯｂｊ２などを付加してもよい。
また、図１４に示すように、表示制御部１６０は、表示画像Ｄ２に、方角を示すオブジェクトＯｂｊ３、ユーザの位置Ｐｕを基準としたユーザの目的地の方向を示すオブジェクトＯｂｊ４などを付加してもよい。また、図１４に示すように、表示制御部１６０は、表示画像Ｄ２に、ユーザの位置Ｐｕを基準としたユーザの目的地の方向を示すオブジェクトＯｂｊ５をユーザの位置Ｐｕに付加してもよいし、ユーザの位置Ｐｕを示すオブジェクトＯｂｊ６をユーザの位置に付加してもよい。
続いて、情報処理装置１０による構図判定動作の流れについて説明する。図１５は、情報処理装置１０による構図判定動作の流れを示すフローチャートである。図１５に示すように、画像取得部１１１により撮像画像が取得されない場合には（ステップＳ２１で「Ｎｏ」）、認識部１２１は、撮像画像以外のデータからユーザを認識して（ステップＳ２２）、ステップＳ２６に動作が移行される。
一方、画像取得部１１１により撮像画像が取得された場合には（ステップＳ２１で「Ｙｅｓ」）、認識部１２１は、撮像画像からユーザを認識して（ステップＳ２３）、条件判定部１２２は、撮像するための条件が整っているか否かを判定する（ステップＳ２４）。条件判定部１２２により撮像するための条件が整っていると判定された場合には（ステップＳ２４で「Ｙｅｓ」）、ステップＳ２６に動作が移行される。一方、条件判定部１２２により撮像するための条件が整っていないと判定された場合には（ステップＳ２４で「Ｎｏ」）、情報付加部１２３は、条件が整っていない旨を示す情報を撮像画像に付加し（ステップＳ２５）、ステップＳ２６に動作が移行される。
ステップＳ２６に動作が移行された場合、モード設定部１２４は、第１のモードおよび第２のモードのいずれかを設定し（ステップＳ２６）、構図判定部１２５は、認識部１２１による認識結果に基づいて、モード設定部１２４により設定されたモードに従って、構図を判定する（ステップＳ２７）。続いて、画像決定部１２６は、構図判定部１２５により判定された構図に基づいて表示画像を決定することを試みる（ステップＳ２８）。
ここで、画像決定部１２６により表示画像が決定された場合には（ステップＳ２９で「Ｙｅｓ」）、ステップＳ３１に動作が移行される。一方、画像決定部１２６により表示画像が決定されない場合には（ステップＳ２９で「Ｎｏ」）、画像決定部１２６は、構図以外の検出データに基づいて表示画像を決定し（ステップＳ３０）、ステップＳ３１に動作が移行される。表示制御部１６０は、画像決定部１２６により決定された表示画像が携帯端末２０に表示されるように携帯端末２０を制御し（ステップＳ３１）、動作が終了される。
以上に説明したように、情報処理装置１０が有する構図判定機能によれば、撮像画像をもとにしたユーザの認識結果とユーザの目的地を示す情報とに基づいた構図が判定される。また、このように判定された構図に基づいて表示画像が決定される。このような制御により、ユーザにとってより利便性が高い表示画像が決定されることが期待される。
＜３．表現変更機能＞
続いて、情報処理装置１０が有する表現変更機能について説明する。上記したように、情報処理装置１０により何らかのネットワークサービスが提供されており、ユーザＵが携帯端末２０を介してネットワークサービスにログインすると、携帯端末２０に対してネットワークサービスが提供されていることを想定している。
ネットワークサービスへのログインは、ユーザＵに限らず、他のユーザも行うことができる。すなわち、撮像画像に映る人物（以下では、「被写体」とも言う。）は、ネットワークサービスを享受する可能性がある。そこで、以下では、撮像画像に映っている被写体のネットワークサービスにおける状態の変更を容易に把握する機能について説明する。なお、撮像画像に映る被写体は、ユーザが特定される手法と同様の手法により、認識部１２１により認識され得る。
変更検出部１３１は、画像取得部１１１により取得された撮像画像から認識された被写体のネットワークサービスにおける状態の変更を検出する。ネットワークサービスにおける状態は、特に限定されないが、例えば、被写体の携帯端末がネットワークサービスにログインしているか否かを示す情報であってもよい。すなわち、表現変更部１３２は、被写体の携帯端末がネットワークサービスにログインした旨が変更検出部１３１により検出された場合に、撮像画像に映っている被写体の表現を変更してもよい。
また、ネットワークサービスにおける状態は、ログインされている状態で特定の処理が行ったか否かを示す情報であってもよい。すなわち、表現変更部１３２は、被写体の携帯端末のネットワークサービスにおける動作が所定の条件を満たした旨が変更検出部１３１により検出された場合に、撮像画像に映っている被写体の表現を変更してもよい。所定の条件は、特に限定されないが、例えば、メッセージの書き込みを行ったという条件であってもよく、所定時間以内にメッセージの書き込みを行ったという条件であってもよい。
表現変更部１３２は、変更検出部１３１により状態の変更が検出された場合に、撮像画像に映っている被写体の表現を変更する。表現変更部１３２により撮像画像に映っている被写体の領域はどのように把握されてもよいが、例えば、被写体が映る前後の撮像画像において差分が生じた場合に、その差分領域が被写体の領域として把握されてもよい。被写体の表現をどのように変更するかについても特に限定されない。
さらに、表現変更部１３２は、特定部１１４によりユーザが特定された場合には、撮像画像に映っているユーザを強調することによりユーザの表現を変更してもよい。ユーザをどのように強調するかについても特に限定されない。表示制御部１６０は、表現変更部１３２により表現が変更されて得られる表示画像が携帯端末２０に表示されるように携帯端末２０を制御する。
ユーザの強調の手法について以下に図面を参照しながら説明する。図１６は、情報処理装置１０による表現変更機能の一例を示す図である。図１６に示すように、表現変更部１３２は、撮像画像におけるユーザＵ以外の被写体の鮮明度を低下させることによりユーザＵを強調してもよい。
図１７は、情報処理装置１０による表現変更機能の一例を示す図である。図１７に示すように、表現変更部１３２は、撮像画像におけるユーザＵの輪郭Ｌ１を強調することによりユーザＵを強調してもよい。例えば、撮像画像におけるユーザＵの輪郭Ｌ１を太くすることによりユーザＵの強調がなされてもよい。
図１８は、情報処理装置１０による表現変更機能の一例を示す図である。図１８に示すように、表現変更部１３２は、撮像画像におけるユーザＵ以外の被写体の画素値を変更することによりユーザＵを強調してもよい。例えば、撮像画像におけるユーザＵ以外の被写体の輝度を低下させることによりユーザＵを強調してもよい。
図１９は、情報処理装置１０による表現変更機能の一例を示す図である。図１９に示すように、表現変更部１３２は、撮像画像におけるユーザＵに対するズームイン表示によりユーザＵを強調してもよい。また、図１９に示すように、表現変更部１３２は、ズームイン表示を行った後、ユーザＵに対するズームアウト表示を行ってもよい。
図２０は、情報処理装置１０による表現変更機能の一例を示す図である。表現変更部１３２は、撮像画像におけるユーザの位置またはユーザの周辺の位置にオブジェクトを表示することによりユーザを強調してもよい。ユーザの周辺の範囲は、あらかじめ規定されていてもよい。図２０に示した例では、表現変更部１３２は、撮像画像におけるユーザの周辺の位置にオブジェクトＯｂｊ８，Ｏｂｊ９を付加することによりユーザＵを強調している。
また、ユーザＵの強調度合いは、一定であってもよいし、状況に応じて変化されてもよい。例えば、表現変更部１３２は、撮像画像におけるユーザのサイズに応じてユーザの強調度合いを変化させてもよい。図２１は、情報処理装置１０による表現変更機能の一例を示す図である。例えば、表現変更部１３２は、撮像画像におけるユーザのサイズが小さいほどユーザの強調度合いを強めてもよい。
図２１に示した例では、撮像装置３０からユーザＵの位置が遠いほど、撮像画像におけるユーザＵのサイズが小さくなっている。そのため、表現変更部１３２は、サイズの小さいユーザＵの輪郭Ｌ０を、サイズの大きいユーザＵの輪郭Ｌ１よりも太くすることにより、サイズの小さいユーザＵの強調度合いを強めている。このように、撮像画像におけるユーザのサイズが小さいほどユーザの強調度合いが強められることにより、撮像画像においてユーザを見つけやすくなる。
また、撮像画像においてユーザＵが他の物体に隠れてしまう場合もある。そこで、例えば、表現変更部１３２は、撮像画像においてユーザの一部または全部が他の物体により隠れて映っている場合に、ユーザの強調の手法を変化させてもよい。図２２は、情報処理装置１０による表現変更機能の一例を示す図である。図２２に示すように、撮像画像においてユーザＵの一部が他の被写体に隠れてしまっている。そこで、表現変更部１３２は、撮像画像におけるユーザＵの周辺の位置にオブジェクトＯｂｊ１０を付加することにより、ユーザＵの強調の手法を変化させている。ユーザＵの周辺の範囲は、あらかじめ規定されていてもよい。
続いて、情報処理装置１０による表現変更動作の流れについて説明する。図２３は、情報処理装置１０による表現変更動作の流れを示すフローチャートである。図２３に示すように、画像取得部１１１により撮像画像が取得されない場合には（ステップＳ４１で「Ｎｏ」）、動作が終了される。一方、画像取得部１１１により撮像画像が取得された場合には（ステップＳ４１で「Ｙｅｓ」）、認識部１２１により撮像画像から被写体が認識される（ステップＳ４２）。続いて、変更検出部１３１は、被写体のネットワークサービスにおける状態の変更を検出したか否かを判定する（ステップＳ４３）。
変更検出部１３１により被写体のネットワークサービスにおける状態の変更が検出されない場合には（ステップＳ４３で「Ｎｏ」）、動作が終了されるが、変更検出部１３１により被写体のネットワークサービスにおける状態の変更が検出された場合には（ステップＳ４３で「Ｙｅｓ」）、表現変更部１３２は、被写体の表現を変更する（ステップＳ４４）。表示制御部１６０は、表現変更部１３２により表現が変更されて得られる表示画像の表示を制御し（ステップＳ４５）、動作が終了される。
以上に説明したように、情報処理装置１０が有する表現変更機能によれば、撮像画像から認識された被写体のネットワークサービスにおける状態の変更が検出される。また、状態の変更が検出された場合に、撮像画像に映っている被写体の表現が変更される。このような制御によれば、撮像画像に映っている被写体のネットワークサービスにおける状態の変更が容易に把握されることが期待される。
＜４．むすび＞
以上説明したように、本実施形態に係る情報処理装置１０のユーザ特定機能によれば、撮像画像を取得する画像取得部１１１と、携帯端末２０のユーザに関するパラメータを取得するパラメータ取得部１１２と、パラメータに基づいて撮像画像からユーザを特定する特定部１１４と、特定部１１４によりユーザが特定されない場合、ユーザの特定に必要なユーザの動作を示す情報が携帯端末２０に表示されるように制御する表示制御部１６０と、を備える、情報処理装置１０が提供される。
かかる構成によれば、特定部１１４によりユーザが特定されない場合、ユーザの特定に必要なユーザの動作を示す情報が携帯端末２０により表示され、この情報を閲覧したユーザは、撮像画像からユーザが特定されるように動作することが可能となる。したがって、撮像画像からユーザが容易に特定されることが期待される。
また、本実施形態に係る情報処理装置１０の構図判定機能によれば、撮像画像を取得する画像取得部１１１と、撮像画像をもとにしたユーザの認識結果とユーザの目的地を示す情報とに基づいて構図を判定する構図判定部１２５と、構図判定部１２５により判定された構図に基づいて表示画像を決定する画像決定部１２６と、を備える、情報処理装置１０が提供される。
かかる構成によれば、撮像画像をもとにしたユーザの認識結果とユーザの目的地を示す情報とに基づいて構図が判定され、この構図に基づいて表示画像が決定される。例えば、構図判定部１２５により、ユーザの位置を示す情報と目的地を示す情報とに基づいて構図が判定される。したがって、ユーザにとってより利便性が高い表示画像が決定されることが期待される。
また、本実施形態に係る情報処理装置１０の表現変更機能によれば、撮像画像を取得する画像取得部１１１と、撮像画像から認識された被写体のネットワークサービスにおける状態の変更を検出する変更検出部１３１と、変更検出部１３１により状態の変更が検出された場合に、撮像画像に映っている被写体の表現を変更する表現変更部１３２と、を備える、情報処理装置１０が提供される。
かかる構成によれば、被写体のネットワークサービスにおける状態の変更が検出された場合に、撮像画像に映っている被写体の表現が変更される。この撮像画像を閲覧したユーザは、撮像画像から被写体のネットワークサービスにおける状態の変更を容易に把握することが可能となる。
なお、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、例えば、上記では、処理制御部１００および表示制御部１６０のすべてを情報処理装置１０が有する例を主に説明したが、かかるブロックの一部または全部は、情報処理装置１０の代わりに他の装置が有していてもよい。例えば、処理制御部１００および表示制御部１６０の一部をサーバが有し、その他の部分を携帯端末２０が有してもよい。このように、本開示の技術は、クラウドコンピューティングにも適用することが可能である。
また、本明細書の情報処理装置１０の動作における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、情報処理装置１０の動作における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
また、情報処理装置１０に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上述した情報処理装置１０の構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
撮像画像を取得する画像取得部と、
携帯端末のユーザに関するパラメータを取得するパラメータ取得部と、
前記パラメータに基づいて前記撮像画像から前記ユーザを特定する特定部と、
前記特定部により前記ユーザが特定されない場合、前記ユーザの特定に必要なユーザの動作を示す情報が前記携帯端末に表示されるように制御する表示制御部と、
を備える、情報処理装置。
（２）
前記パラメータ取得部は、前記ユーザの顔画像を前記パラメータとして取得し、
前記特定部は、前記撮像画像に映る顔領域と前記ユーザの顔画像との照合に基づいて抽出される被写体を前記ユーザとして特定する、
前記（１）に記載の情報処理装置。
（３）
前記表示制御部は、前記特定部により前記ユーザが特定されない場合、前記撮像画像を撮像する撮像装置側に顔を向けることを促す情報が前記ユーザの特定に必要なユーザの動作を示す情報として前記携帯端末に表示されるように制御する、
前記（２）に記載の情報処理装置。
（４）
前記パラメータ取得部は、前記ユーザの動きを示すセンサデータを前記パラメータとして取得し、
前記特定部は、前記撮像画像から検出される被写体の動きと前記センサデータとの照合に基づいて抽出される被写体を前記ユーザとして特定する、
前記（１）に記載の情報処理装置。
（５）
前記表示制御部は、前記特定部により前記ユーザが特定されない場合、前記携帯端末を動かすことを促す情報が前記ユーザの特定に必要なユーザの動作を示す情報として前記携帯端末に表示されるように制御する、
前記（４）に記載の情報処理装置。
（６）
前記情報処理装置は、
前記撮像画像から前記ユーザの候補を抽出する候補抽出部をさらに備え、
前記特定部は、前記候補抽出部により抽出された前記ユーザの候補から前記パラメータに基づいて前記ユーザを特定する、
前記（１）〜（５）のいずれか一項に記載の情報処理装置。
（７）
前記パラメータ取得部は、前記ユーザからの操作により指定される前記撮像画像上の座標を前記パラメータとして取得し、
前記候補抽出部は、前記座標により選択される被写体を前記ユーザの候補として抽出する、
前記（６）に記載の情報処理装置。
（８）
前記表示制御部は、前記特定部により前記ユーザが特定されない場合、前記候補抽出部により抽出された前記ユーザの候補の位置とあらかじめ設定された前記撮像装置の位置とに基づいて、前記ユーザの特定に必要なユーザの動作を示す情報が前記携帯端末に表示されるように制御する、
前記（７）に記載の情報処理装置。
（９）
前記表示制御部は、前記特定部により前記ユーザが特定されない場合、他の特定手法によりユーザを特定する旨を示す情報が前記携帯端末に表示されるように制御し、
前記特定部は、前記他の特定手法により抽出される被写体を前記ユーザとして特定する、
前記（１）〜（８）のいずれか一項に記載の情報処理装置。
（１０）
前記情報処理装置は、
前記特定部により特定された前記携帯端末に対する認証処理を行う認証部をさらに備える、
前記（１）〜（９）のいずれか一項に記載の情報処理装置。
（１１）
撮像画像を取得することと、
携帯端末のユーザに関するパラメータを取得することと、
前記パラメータに基づいて前記撮像画像に映る１以上の被写体から前記ユーザを特定することと、
前記ユーザが特定されない場合、前記ユーザの特定に必要なユーザの動作を示す情報が前記携帯端末に表示されるように制御することと、
を含む、情報処理方法。
（１２）
コンピュータを、
撮像画像を取得する画像取得部と、
携帯端末のユーザに関するパラメータを取得するパラメータ取得部と、
前記パラメータに基づいて前記撮像画像に映る１以上の被写体から前記ユーザを特定する特定部と、
前記特定部により前記ユーザが特定されない場合、前記ユーザの特定に必要なユーザの動作を示す情報が前記携帯端末に表示されるように制御する表示制御部と、
を備える情報処理装置として機能させるためのプログラム。
１ 情報処理システム
１０ 情報処理装置
２０ 携帯端末
３０ 撮像装置
４０ ネットワーク
５０ 記憶部
１００ 処理制御部
１１１ 画像取得部
１１２ パラメータ取得部
１１３ 候補抽出部
１１４ 特定部
１１５ 認証部
１２１ 認識部
１２２ 条件判定部
１２３ 情報付加部
１２４ モード設定部
１２５ 構図判定部
１２６ 画像決定部
１３１ 変更検出部
１３２ 表現変更部
１６０ 表示制御部

Claims (10)

  1. 撮像画像を取得する画像取得部と、
    携帯端末のユーザに関するパラメータを取得するパラメータ取得部と、
    前記ユーザからの操作により指定される前記撮像画像上の座標により選択される被写体を前記ユーザの候補として抽出する候補抽出部と、
    前記ユーザの候補から前記パラメータに基づいて前記ユーザを特定する特定部と、
    前記特定部により前記ユーザが特定されない場合、前記ユーザの特定に必要なユーザの動作を示す情報が前記携帯端末に表示されるように制御する表示制御部と、
    を備える、情報処理装置。
  2. 前記パラメータ取得部は、前記ユーザの顔画像を前記パラメータとして取得し、
    前記特定部は、前記撮像画像に映る顔領域と前記ユーザの顔画像との照合に基づいて抽出される被写体を前記ユーザとして特定する、
    請求項１に記載の情報処理装置。
  3. 前記表示制御部は、前記特定部により前記ユーザが特定されない場合、前記撮像画像を撮像する撮像装置側に顔を向けることを促す情報が前記ユーザの特定に必要なユーザの動作を示す情報として前記携帯端末に表示されるように制御する、
    請求項２に記載の情報処理装置。
  4. 前記パラメータ取得部は、前記ユーザの動きを示すセンサデータを前記パラメータとして取得し、
    前記特定部は、前記撮像画像から検出される被写体の動きと前記センサデータとの照合に基づいて抽出される被写体を前記ユーザとして特定する、
    請求項１に記載の情報処理装置。
  5. 前記表示制御部は、前記特定部により前記ユーザが特定されない場合、前記携帯端末を動かすことを促す情報が前記ユーザの特定に必要なユーザの動作を示す情報として前記携帯端末に表示されるように制御する、
    請求項４に記載の情報処理装置。
  6. 前記表示制御部は、前記特定部により前記ユーザが特定されない場合、前記候補抽出部により抽出された前記ユーザの候補の位置とあらかじめ設定された撮像装置の位置とに基づいて、前記ユーザの特定に必要なユーザの動作を示す情報が前記携帯端末に表示されるように制御する、
    請求項１に記載の情報処理装置。
  7. 前記表示制御部は、前記特定部により前記ユーザが特定されない場合、他の特定手法によりユーザを特定する旨を示す情報が前記携帯端末に表示されるように制御し、
    前記特定部は、前記他の特定手法により抽出される被写体を前記ユーザとして特定する、
    請求項１〜６のいずれか一項に記載の情報処理装置。
  8. 前記情報処理装置は、
    前記特定部により特定された前記携帯端末に対する認証処理を行う認証部をさらに備える、
    請求項１〜７のいずれか一項に記載の情報処理装置。
  9. 撮像画像を取得することと、
    携帯端末のユーザに関するパラメータを取得することと、
    前記ユーザからの操作により指定される前記撮像画像上の座標により選択される被写体を前記ユーザの候補として抽出することと、
    前記ユーザの候補から前記パラメータに基づいて前記ユーザを特定することと、
    前記ユーザが特定されない場合、前記ユーザの特定に必要なユーザの動作を示す情報が前記携帯端末に表示されるように制御することと、
    を含む、情報処理方法。
  10. コンピュータを、
    撮像画像を取得する画像取得部と、
    携帯端末のユーザに関するパラメータを取得するパラメータ取得部と、
    前記ユーザからの操作により指定される前記撮像画像上の座標により選択される被写体を前記ユーザの候補として抽出する候補抽出部と、
    前記ユーザの候補から前記パラメータに基づいて前記ユーザを特定する特定部と、
    前記特定部により前記ユーザが特定されない場合、前記ユーザの特定に必要なユーザの動作を示す情報が前記携帯端末に表示されるように制御する表示制御部と、
    を備える情報処理装置として機能させるためのプログラム。
JP2014507489A 2012-03-27 2013-02-07 情報処理装置、情報処理方法およびプログラム Active JP6044633B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012071330 2012-03-27
JP2012071330 2012-03-27
PCT/JP2013/052862 WO2013145874A1 (ja) 2012-03-27 2013-02-07 情報処理装置、情報処理方法およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2013145874A1 JPWO2013145874A1 (ja) 2015-12-10
JP6044633B2 true JP6044633B2 (ja) 2016-12-14

Family

ID=49259159

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014507489A Active JP6044633B2 (ja) 2012-03-27 2013-02-07 情報処理装置、情報処理方法およびプログラム

Country Status (6)

Country Link
US (1) US20150086074A1 (ja)
EP (1) EP2833321A1 (ja)
JP (1) JP6044633B2 (ja)
CN (1) CN104205013A (ja)
BR (1) BR112014023253A8 (ja)
WO (1) WO2013145874A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150086074A1 (en) * 2012-03-27 2015-03-26 Sony Corporation Information processing device, information processing method, and program
JP6939378B2 (ja) * 2017-10-11 2021-09-22 トヨタ自動車株式会社 車両制御装置
EP3886038A4 (en) * 2018-11-21 2021-11-24 NEC Corporation INFORMATION PROVISION SYSTEM, INFORMATION PROVISION CONTROL DEVICE, INFORMATION PROVISION PROCESS, INFORMATION PROVISION CONTROL PROCESS, AND INFORMATION MEDIA
WO2021186627A1 (ja) * 2020-03-18 2021-09-23 日本電気株式会社 ゲート装置、認証システム、ゲート装置の制御方法及び記憶媒体

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3570755B2 (ja) * 1994-10-19 2004-09-29 セコム株式会社 個人識別装置
US6597801B1 (en) * 1999-09-16 2003-07-22 Hewlett-Packard Development Company L.P. Method for object registration via selection of models with dynamically ordered features
JP2003317100A (ja) * 2002-02-22 2003-11-07 Matsushita Electric Ind Co Ltd 情報端末装置、認証システム、及び登録・認証方法
US7283644B2 (en) * 2003-06-27 2007-10-16 International Business Machines Corporation System and method for enhancing security applications
WO2006023046A1 (en) * 2004-06-21 2006-03-02 Nevengineering, Inc. Single image based multi-biometric system and method
JP4926416B2 (ja) * 2005-06-15 2012-05-09 キヤノン株式会社 画像表示方法、プログラム、記録媒体及び画像表示装置
JP2007116318A (ja) * 2005-10-19 2007-05-10 Nec Corp 携帯端末、認証装置、個人認証方法、プログラム
JP2007157022A (ja) * 2005-12-08 2007-06-21 Toppan Nsw:Kk 入場管理システム、入場管理方法
JP5012247B2 (ja) 2007-06-21 2012-08-29 ソニー株式会社 認証装置、入場管理装置、入退場管理装置、入場管理システム、入退場管理システム、認証処理方法およびプログラム
JP4827803B2 (ja) * 2007-07-11 2011-11-30 京セラミタ株式会社 ユーザ認証方法、ユーザ認証装置及び画像形成装置
KR101615290B1 (ko) * 2009-08-26 2016-04-26 삼성전자주식회사 촬영 방법 및 시스템
JP2011221699A (ja) * 2010-04-07 2011-11-04 Yaskawa Electric Corp 操作指示認識装置及びロボット
US8315674B2 (en) * 2010-10-08 2012-11-20 Research In Motion Limited System and method for displaying object location in augmented reality
JP2012208619A (ja) * 2011-03-29 2012-10-25 Nec Corp 電子機器、通知方法およびプログラム
US20150086074A1 (en) * 2012-03-27 2015-03-26 Sony Corporation Information processing device, information processing method, and program

Also Published As

Publication number Publication date
US20150086074A1 (en) 2015-03-26
CN104205013A (zh) 2014-12-10
BR112014023253A8 (pt) 2017-07-25
WO2013145874A1 (ja) 2013-10-03
JPWO2013145874A1 (ja) 2015-12-10
EP2833321A1 (en) 2015-02-04
BR112014023253A2 (ja) 2017-06-20

Similar Documents

Publication Publication Date Title
KR102465532B1 (ko) 객체 인식 방법 및 장치
EP3540620B1 (en) Image processing device and image providing method therefor
WO2017181769A1 (zh) 一种人脸识别方法、装置和系统、设备、存储介质
CN105528573B (zh) 用户终端设备及其虹膜识别方法
KR20220144890A (ko) 다중 사용자 환경에서 손 제스처를 사용하여 디바이스를 제어하기 위한 방법 및 시스템
US9898090B2 (en) Apparatus, method and recording medium for controlling user interface using input image
CN109743504B (zh) 一种辅助拍照方法、移动终端和存储介质
US11222231B2 (en) Target matching method and apparatus, electronic device, and storage medium
US10432860B2 (en) Camera operation mode control
WO2015003606A1 (en) Method and apparatus for recognizing pornographic image
WO2019011098A1 (zh) 解锁控制方法及相关产品
WO2014043620A1 (en) Unauthorized viewer detection system and method
JP6044633B2 (ja) 情報処理装置、情報処理方法およびプログラム
US10713480B2 (en) Information processing device and information processing method
CN106648042B (zh) 一种识别控制方法以及装置
JP2024045460A (ja) 情報処理システム、情報処理装置、情報処理方法、およびプログラム
CN107911563B (zh) 一种图像处理方法及移动终端
JP6064995B2 (ja) 情報処理装置、情報処理方法およびプログラム
KR20190128536A (ko) 전자 장치 및 그 제어 방법
JP2016021716A (ja) 追尾装置及びその制御方法
JP2001331804A (ja) 画像領域検出装置及び方法
KR20110099845A (ko) 화상 통화 시스템에서 전방향 화자 인식을 위한 장치 및 방법
CN115761867A (zh) 基于人脸图像的身份检测方法、装置、介质及设备
WO2014093293A1 (en) Unauthorized viewer detection system and method

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160426

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160523

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161018

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161031

R151 Written notification of patent or utility model registration

Ref document number: 6044633

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250