JP6064995B2 - 情報処理装置、情報処理方法およびプログラム - Google Patents

情報処理装置、情報処理方法およびプログラム Download PDF

Info

Publication number
JP6064995B2
JP6064995B2 JP2014507500A JP2014507500A JP6064995B2 JP 6064995 B2 JP6064995 B2 JP 6064995B2 JP 2014507500 A JP2014507500 A JP 2014507500A JP 2014507500 A JP2014507500 A JP 2014507500A JP 6064995 B2 JP6064995 B2 JP 6064995B2
Authority
JP
Japan
Prior art keywords
user
captured image
unit
expression
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014507500A
Other languages
English (en)
Other versions
JPWO2013145900A1 (ja
Inventor
麻紀 森
麻紀 森
俊一 笠原
俊一 笠原
脩 繁田
脩 繁田
誠司 鈴木
誠司 鈴木
遼 深澤
遼 深澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2013145900A1 publication Critical patent/JPWO2013145900A1/ja
Application granted granted Critical
Publication of JP6064995B2 publication Critical patent/JP6064995B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Facsimiles In General (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本開示は、情報処理装置、情報処理方法およびプログラムに関する。
近年、撮像画像に映っている人物を特定するための技術が開発されている。例えば、撮像画像に映っている顔領域とあらかじめ用意された顔画像とを照合し、照合結果に基づいて撮像画像に映っている人物を特定する技術が開示されている（例えば、特許文献１参照）。この技術によれば、人物の特定に成功した場合に扉の開閉がなされるため、セキュリティを強化することが可能となる。
セキュリティ強化を目的とする場合だけではなく、撮像画像に映っている人物を特定するための技術は、様々な場面に応用されている。
特開２００９−３６５９号公報
しかしながら、撮像画像に映っている被写体の状態を容易に把握したいという要求がある。例えば、撮像画像に映っている被写体のネットワークサービスにおける状態の変更を容易に把握することができれば、ユーザの利便性が向上する。したがって、撮像画像に映っている被写体のネットワークサービスにおける状態の変更を容易に把握するための技術が実現されることが望ましい。
本開示によれば、撮像画像を取得する画像取得部と、前記撮像画像から認識された被写体のネットワークサービスにおける状態の変更を検出する変更検出部と、前記変更検出部により前記状態の変更が検出された場合に、前記撮像画像に映っている前記被写体の表現を変更する表現変更部と、を備える、情報処理装置が提供される。
また、本開示によれば、撮像画像を取得することと、前記撮像画像から認識された被写体のネットワークサービスにおける状態の変更を検出することと、前記状態の変更が検出された場合に、前記撮像画像に映っている前記被写体の表現を変更することと、を含む、情報処理方法が提供される。
また、本開示によれば、コンピュータを、撮像画像を取得する画像取得部と、前記撮像画像から認識された被写体のネットワークサービスにおける状態の変更を検出する変更検出部と、前記変更検出部により前記状態の変更が検出された場合に、前記撮像画像に映っている前記被写体の表現を変更する表現変更部と、を備える情報処理装置として機能させるためのプログラムが提供される。
以上説明したように本開示によれば、撮像画像に映っている被写体のネットワークサービスにおける状態の変更を容易に把握することが可能である。
本実施形態の概要を説明するための図である。 本実施形態に係る情報処理システムの構成を示す図である。 本実施形態に係る情報処理装置の機能構成例を示すブロック図である。 情報処理装置が有するユーザ特定機能の概要を示す図である。 ユーザ特定に失敗した場合における携帯端末の表示例を示す図である。 ユーザ特定に成功した場合における携帯端末の表示例を示す図である。 ユーザ特定に失敗した場合における携帯端末の表示例を示す図である。 ユーザ特定に失敗した場合における携帯端末の表示例を示す図である。 ユーザ特定に失敗した場合における携帯端末の表示例を示す図である。 情報処理装置が有する構図判定機能の概要を示す図である。 第１のモード設定時における表示画像について説明するための図である。 第２のモード設定時における表示画像について説明するための図である。 表示画像の決定手法のバリエーションについて説明するための図である。 決定された表示画像の一例を示す図である。 情報処理装置による構図判定動作の流れを示すフローチャートである。 情報処理装置による表現変更機能の一例を示す図である。 情報処理装置による表現変更機能の一例を示す図である。 情報処理装置による表現変更機能の一例を示す図である。 情報処理装置による表現変更機能の一例を示す図である。 情報処理装置による表現変更機能の一例を示す図である。 情報処理装置による表現変更機能の一例を示す図である。 情報処理装置による表現変更機能の一例を示す図である。 情報処理装置による表現変更動作の流れを示すフローチャートである。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
また、以下に示す項目順序に従って当該「発明を実施するための形態」を説明する。
１．ユーザ特定機能
２．構図判定機能
３．表現変更機能
４．むすび
本実施形態に係る情報処理装置が有する機能は、ユーザ特定機能、構図判定機能および表現変更機能に大別される。まず、各機能について説明する前に、各機能の前提となる条件について説明する。
図１は、本実施形態の概要を説明するための図である。図１に示すように、携帯端末２０を有するユーザＵが実空間に存在している。ユーザＵは実空間内のどこに存在していてもよい。また、携帯端末２０には画像を表示する機能が設けられており、ユーザＵは携帯端末２０により表示された画面を閲覧することが可能である。ユーザＵは、携帯端末２０とは別に設けられている撮像装置３０により撮像される。撮像装置３０が設けられる位置は特に限定されないが、例えば、監視カメラのように建物内に取り付けられていてもよいし、乗り物などの移動体に取り付けられていてもよい。また、撮像装置３０の種類は特に限定されないが、例えば、赤外線カメラなどであってもよい。
図２は、本実施形態に係る情報処理システムの構成を示す図である。図２に示すように、情報処理システム１は、情報処理装置１０と携帯端末２０と撮像装置３０とを備えている。図２には、情報処理装置１０と携帯端末２０とがネットワーク４０を介して接続されている例が示されているが、ネットワーク４０に接続される携帯端末２０は１つでなくてもよい。例えば、携帯端末２０が複数存在し、複数の携帯端末２０の各々がネットワーク４０に接続されていてもよい。
また、図２に示したように、情報処理装置１０と撮像装置３０とも接続されている。図２に示した例では、１つの撮像装置３０が情報処理装置１０に接続されているが、撮像装置３０は１つでなくてもよい。例えば、撮像装置３０が複数存在し、複数の撮像装置３０の各々が情報処理装置１０に接続されていてもよい。
また、図２に示した例では、情報処理装置１０は、携帯端末２０および撮像装置３０と別体に構成されているが、携帯端末２０に組み込まれていてもよいし、撮像装置３０に組み込まれていてもよい。撮像装置３０により撮像された撮像画像は情報処理装置１０を介して携帯端末２０に提供され、携帯端末２０は撮像画像を表示することが可能である。情報処理装置１０は、撮像装置３０から提供される撮像画像を用いて、ユーザ特定機能、構図判定機能および表現変更機能を発揮することができる。
図３は、本実施形態に係る情報処理装置１０の機能構成例を示すブロック図である。図３に示したように、情報処理装置１０は、処理制御部１００、表示制御部１６０および記憶部５０を備える。また、処理制御部１００は、画像取得部１１１、パラメータ取得部１１２、候補抽出部１１３、特定部１１４および認証部１１５を備える。画像取得部１１１、パラメータ取得部１１２、候補抽出部１１３、特定部１１４および認証部１１５は、主に、情報処理装置１０が有するユーザ特定機能に関わるブロックである。
また、処理制御部１００は、認識部１２１、条件判定部１２２、情報付加部１２３、モード設定部１２４、構図判定部１２５および画像決定部１２６を備える。処理制御部１００は、認識部１２１、条件判定部１２２、情報付加部１２３、モード設定部１２４、構図判定部１２５および画像決定部１２６は、主に、情報処理装置１０が有する構図判定機能に関わるブロックである。
また、処理制御部１００は、変更検出部１３１および表現変更部１３２を備える。変更検出部１３１および表現変更部１３２は、主に、情報処理装置１０が有する表現変更機能に関わるブロックである。
処理制御部１００および表示制御部１６０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）またはＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）などのプロセッサに相当する。処理制御部１００および表示制御部１６０は、記憶部５０または他の記憶媒体に記憶されるプログラムを実行することにより、処理制御部１００および表示制御部１６０が有する様々な機能を発揮する。
記憶部５０は、半導体メモリまたはハードディスクなどの記憶媒体を用いて、処理制御部１００および表示制御部１６０による処理のためのプログラムおよびデータを記憶する。例えば、記憶部５０は、物体認識のために使用される特徴量辞書を記憶する。さらに、記憶部５０は、物体認識の結果として生成される認識結果を記憶することもできる。図３に示した例では、記憶部５０が情報処理装置１０に組み込まれているが、記憶部５０と情報処理装置１０とは別体に構成されてもよい。
以上、各機能の前提について説明した。以下では、これらの各機能について順を追って説明する。
＜１．ユーザ特定機能＞
まず、情報処理装置１０が有するユーザ特定機能について説明する。図４は、情報処理装置１０が有するユーザ特定機能の概要を示す図である。まず、画像取得部１１１は、撮像装置３０により撮像された撮像画像を取得する。図４に示した例では、撮像画像の例として、図１に示された実空間が撮像された撮像画像Ｉｍｇが画像取得部１１１により取得されている。画像取得部１１１により取得された撮像画像は、携帯端末２０により表示されるように表示制御部１６０により制御される。
ユーザ特定機能によれば、画像取得部１１１により取得された撮像画像に映っている被写体からユーザが特定される。ユーザ特定の目的は特に限定されないが、ここでは、情報処理装置１０により何らかのネットワークサービスが提供されており、ユーザＵが携帯端末２０を介してネットワークサービスにログインするためにユーザの特定がなされることを想定している。
ネットワークサービスの種類も特に限定されないが、ここでは、ネットワークサービスへのログインが完了している携帯端末を用いて、ユーザ自身がメッセージの書き込みを行ったりユーザ自身や他のユーザが書き込んだメッセージを閲覧したりすることができるサービスを想定している。ユーザの特定がなされるタイミングは特に限定されないが、例えば、ユーザによってユーザ特定を要求するための操作が携帯端末２０に対してなされたときであってもよい。ユーザ特定を要求するための操作は、ネットワークサービスへのログインを要求するための操作であってもよい。
撮像画像に映っている被写体からユーザを特定するため、パラメータ取得部１１２は、特定すべきユーザに関するパラメータを取得する。パラメータ取得部１１２によりパラメータが取得されるタイミングは特に限定されないが、例えば、ユーザが有する携帯端末２０からあらかじめ取得されてもよいし、ユーザの特定がなされる際に携帯端末２０から取得されてもよい。
パラメータ取得部１１２により取得されるパラメータの種類は特に限定されない。例えば、図４に示すように、パラメータ取得部１１２は、ユーザの顔画像をパラメータＰ１として取得してもよいし、ユーザの動きを示すセンサデータをパラメータＰ２として取得してもよい。ユーザの顔画像を撮像する装置は特に限定されない。ユーザの顔画像は、例えば、携帯端末２０により撮像された顔画像であってもよいし、他の装置によって撮像された顔画像であってもよい。
また、ユーザの動きを検出するセンサは特に限定されない。ユーザの動きを検出するセンサは、加速度センサであってもよいし、ＧＰＳ信号の受信センサであってもよいし、Ｗｉ−ｆｉ基地局から送信される電波の受信センサであってもよい。また、ユーザの動きを検出するセンサは、携帯端末２０に組み込まれていてもよいし、ユーザの身体に取り付けられていてもよい。
特定部１１４によるユーザの特定がなされる前に、候補抽出部１１３によりユーザの候補の特定がなされてもよい（ステップＳ１１）。例えば、携帯端末２０に入力されるユーザ操作（例えば、タッチパネルへのタッチ操作）により携帯端末２０に表示されている撮像画像上の座標が指定された場合、パラメータ取得部１１２はその座標を取得し、候補抽出部１１３は、その座標により選択される被写体（例えば、その座標に存在する被写体）をユーザの候補として特定してもよい。ユーザの候補を特定しておくことによりユーザの特定に要する負荷が軽減される。
特定部１１４は、パラメータ取得部１１２により取得されたパラメータに基づいて撮像画像からユーザの特定を試みる（ステップＳ１２）。例えば、特定部１１４は、パラメータ取得部１１２によりユーザの顔画像がパラメータＰ１として取得された場合には、画像取得部１１１により取得された撮像画像に映る被写体の顔領域とユーザの顔画像との照合に基づいて抽出される被写体をユーザとして特定すればよい。例えば、特定部１１４は、ユーザの顔画像と閾値を超える類似度の顔領域を有する被写体をユーザとして特定すればよい。
また、例えば、特定部１１４は、パラメータ取得部１１２によりユーザの動きを示すセンサデータがパラメータＰ２として取得された場合には、画像取得部１１１により取得された撮像画像から検出される被写体の動きとセンサデータとの照合に基づいて抽出される被写体をユーザとして特定すればよい。例えば、特定部１１４は、撮像画像におけるユーザの動きと閾値を超える類似度のセンサデータが検出された被写体をユーザとして特定すればよい。なお、ユーザの候補が特定されている場合には、特定部１１４は、ユーザの候補からパラメータに基づいてユーザを特定すればよい。
特定部１１４によりユーザの特定が試みられた結果、ユーザが特定されない状況も想定される。例えば、類似度が閾値を超えない場合などがそのような状況に該当する。したがって、表示制御部１６０は、特定部１１４によりユーザが特定されない場合、ユーザの特定に必要なユーザの動作を示す情報が携帯端末２０に表示されるように携帯端末２０を制御する。表示制御部１６０の制御に従って、携帯端末２０にはユーザの動作を示す情報が表示される（ステップＳ１３）。
図５は、ユーザ特定に失敗した場合における携帯端末２０の表示例を示す図である。例えば、表示制御部１６０は、特定部１１４によりユーザが特定されない場合、撮像装置側に顔を向けることを促す情報が携帯端末２０に表示されるように携帯端末２０を制御してもよい。図５には、撮像装置３０が監視カメラである場合を想定し、表示制御部１６０は、「監視カメラの方に顔を向けてください」というメッセージＭ１が携帯端末２０に表示されるように携帯端末２０を制御している例が示されている。
図４に戻って説明を続ける。特定部１１４によりユーザが特定された場合、ステップＳ１５に移行される前に、認証部１１５は、特定部１１４により特定された携帯端末２０に対する認証処理を行ってもよい（ステップＳ１４）。具体的には、認証部１１５は、例えば、図４に示したように、携帯端末２０に入力されるユーザ操作によりパスワードが入力された場合、入力されたパスワードとあらかじめ登録されているパスワードとが一致するか否かにより認証の成否を決めてもよい。認証が成功した場合にはステップＳ１５に移行されるが、認証が失敗した場合にはステップＳ１５に移行されずに再度認証処理が行われてもよい。
ステップＳ１５に移行された場合、例えば、ネットワークサービスへのログインを完了させ（ステップＳ１５）、表示制御部１６０は、携帯端末２０により撮像画像および付加情報が表示されるように携帯端末２０を制御する。表示制御部１６０の制御に従って、携帯端末２０には撮像画像および付加情報が表示される（ステップＳ１６）。付加情報は特に限定されないが、例えば、ユーザ自身や他のユーザが書き込んだメッセージであってもよい。
図６は、ユーザ特定に成功した場合における携帯端末２０の表示例を示す図である。例えば、表示制御部１６０は、特定部１１４によりユーザが特定された場合、撮像画像および付加情報が表示されるように携帯端末２０を制御する。図６には、表示制御部１６０が、付加情報として他のユーザが書き込んだメッセージが表示されるように携帯端末２０を制御している例が示されている。
なお、撮像装置側に顔を向けることを促す情報は、図５に示した例に限定されない。図７は、ユーザ特定に失敗した場合における携帯端末２０の表示例を示す図である。表示制御部１６０は、候補抽出部１１３により抽出されたユーザの候補の位置とあらかじめ設定された撮像装置３０の位置とに基づいて、ユーザの特定に必要なユーザの動作を示す情報が携帯端末２０に表示されるように携帯端末２０を制御してもよい。
例えば、図７に示すように、表示制御部１６０は、ユーザの候補の位置を基準として、ユーザの候補の向いている方向への直線および撮像装置３０の存在する方向への直線が携帯端末２０に表示されるように携帯端末２０を制御してもよい。また、図７に示すように、表示制御部１６０は、ユーザの候補の向いている方向への直線から撮像装置３０の存在する方向への直線への回転方向を示す矢印が携帯端末２０に表示されるように携帯端末２０を制御してもよい。また、図７に示すように、表示制御部１６０は、ユーザから見た場合の回転方向を示すメッセージとして「Ｔｕｒｎ Ｌｅｆｔ」というメッセージＭ２が携帯端末２０に表示されるように携帯端末２０を制御してもよい。
また、特定部１１４によりユーザが特定されない場合、ユーザを特定する手法が切り換えられてもよい。図８は、ユーザ特定に失敗した場合における携帯端末２０の表示例を示す図である。表示制御部１６０は、特定部１１４によりユーザが特定されない場合、他の特定手法によりユーザを特定する旨を示す情報が携帯端末２０に表示されるように制御してもよい。例えば、表示制御部１６０は、他の特定手法によりユーザを特定する旨を示す情報として「ユーザを特定する手法を切り換えます」というメッセージＭ３が携帯端末２０に表示されるように携帯端末２０を制御してもよい。特定部１１４は、他の特定手法により抽出される被写体をユーザとして特定すればよい。
例えば、特定部１１４は、撮像画像に映る被写体の顔領域とユーザの顔画像との照合に基づいて抽出される被写体をユーザとして特定するように試みたとする。この場合に、ユーザが特定されなかった場合には、特定部１１４は、撮像画像から検出される被写体の動きとセンサデータとの照合に基づいて抽出される被写体をユーザとして特定するように試みてもよい。また、逆の順序でユーザ特定が試みられてもよい。
また、特定部１１４によりユーザが特定されない場合、撮像画像に映る他の被写体とユーザとの動きの違いが明確になるようにユーザを促してもよい。このように促すことにより、特定部１１４は、規定されている正常な範囲を逸脱した動きの被写体が撮像画像から検出された場合に、その被写体をユーザと特定することができる。
図９は、ユーザ特定に失敗した場合における携帯端末２０の表示例を示す図である。例えば、表示制御部１６０は、特定部１１４によりユーザが特定されない場合、携帯端末２０を動かすことを促す情報がユーザの特定に必要なユーザの動作を示す情報として携帯端末２０に表示されるように携帯端末２０を制御してもよい。例えば、図９に示したように、表示制御部１６０は、携帯端末２０を動かすことを促す情報として「携帯端末を動かして下さい」というメッセージＭ４が携帯端末２０に表示されるように携帯端末２０を制御してもよい。
以上に説明したように、情報処理装置１０が有するユーザ特定機能によれば、携帯端末のユーザに関するパラメータに基づいて撮像画像からユーザを特定することが試みられ、表示制御部１６０は、ユーザが特定されない場合、ユーザの特定に必要なユーザの動作を示す情報が携帯端末２０に表示されるように制御される。このような制御により、撮像画像からユーザが容易に特定されることが期待される。
＜２．構図判定機能＞
続いて、情報処理装置１０が有する構図判定機能について説明する。図１０は、情報処理装置１０が有する構図判定機能の概要を示す図である。上記したように、撮像装置３０により撮像画像が撮像されると、撮像画像がユーザの携帯端末２０に表示される。ユーザは携帯端末２０に表示された撮像画像を閲覧することが可能である。ここでは、ユーザが撮像画像を閲覧しながら目的地に向かう場面を想定し、このようなユーザが閲覧する撮像画像として好ましい構図の判定について説明する。
まず、ユーザの目的地を示す情報が設定される。ユーザの目的地を示す情報は、携帯端末２０に入力されるユーザ操作により入力されてもよいし、携帯端末２０により実行されるアプリケーションにより設定されてもよい。ユーザの目的地を示す情報は、例えば、実空間における位置で表現される。ユーザの目的地を示す情報は、情報処理装置１０により取得される。構図判定部１２５は、画像取得部１１１により取得された撮像画像をもとにしたユーザの認識結果とユーザの目的地を示す情報とに基づいて構図を判定する。構図は、画像における物体の理想的な位置（あるいは物体の理想的な向き）を示す図である。
ユーザの認識結果は、ユーザの進行方向とユーザの実空間における位置とを少なくとも含んでいる。例えば、ユーザの認識結果は、認識部１２１により取得される。すなわち、認識部１２１は、撮像画像をもとにしてユーザを認識することにより認識結果を得る。図１０に示した例では、ユーザの実空間における位置がＰｕとして示され、ユーザの進行方向がＶ１として示され、ユーザの位置Ｐｕを基準としたユーザの目的地の方向がＶ２として示されている。
例えば、構図判定部１２５は、認識結果としてユーザの位置が認識された場合、ユーザの位置を基準としたユーザの目的地の方向に基づいて構図を判定すればよい。例えば、図１０に示した例では、構図判定部１２５は、ユーザの位置Ｐｕを基準としたユーザの目的地の方向Ｖ２に基づいて構図を判定すればよい。構図判定部１２５は、例えば、Ｖ２に基づいて構図を判定する場合には、ユーザの位置Ｐｕを基準としてＶ２と逆方向の領域よりもユーザの位置Ｐｕを基準としてＶ２の方向の領域が広く収まるような画像を構図として判定すればよい。図１０には、このようにして判定される構図の例がＫ２として示されている。点Ｃ２は、構図Ｋ２の中央の点を示している。
また、構図判定部１２５は、例えば、認識結果としてユーザの進行方向が認識された場合、ユーザの進行方向に基づいて構図を判定すればよい。例えば、図１０に示した例では、構図判定部１２５は、ユーザの進行方向Ｖ１に基づいて構図を判定すればよい。構図判定部１２５は、例えば、Ｖ１に基づいて構図を判定する場合には、ユーザの位置Ｐｕを基準としてＶ１と逆方向の領域よりもユーザの位置Ｐｕを基準としてＶ１の方向の領域が広く収まるような画像を構図として判定すればよい。図１０には、このようにして判定される構図の例がＫ１として示されている。点Ｃ１は、構図Ｋ１の中央の点を示している。
構図判定部１２５は、画一的にユーザの進行方向Ｖ１に基づいて構図を判定してもよいし、画一的にユーザの位置Ｐｕを基準としたユーザの目的地の方向Ｖ２に基づいて構図を判定してもよいが、各々の判定手法のいずれかの手法を選択的に用いてもよい。すなわち、ユーザの進行方向Ｖ１に基づいて構図を判定するモードを第１のモードとし、ユーザの位置Ｐｕを基準としたユーザの目的地の方向Ｖ２に基づいて構図を判定するモードを第２のモードとした場合、モード設定部１２４は、この２つのモードのいずれかを設定してもよい。その場合、構図判定部１２５は、モード設定部１２４により設定されたモードに従って構図を判定してもよい。モードは、携帯端末２０に入力されるユーザ操作に基づいて設定されてもよいし、携帯端末２０により実行されるアプリケーションにより設定されてもよい。
画像決定部１２６は、構図判定部１２５により判定された構図に基づいて表示画像を決定する。画像決定部１２６は、例えば、構図判定部１２５により判定された構図に合致する画像を表示画像として決定してもよいし、選択可能な範囲内において構図判定部１２５により判定された構図に最も近い画像を表示画像として決定してもよい。表示制御部１６０は、画像決定部１２６により決定された表示画像が携帯端末２０に表示されるように携帯端末２０を制御する。
図１１は、第１のモード設定時における表示画像について説明するための図である。例えば、図１０に示したような撮像画像Ｉｍｇが取得され、モード設定部１２４により第１のモードが設定されている場合、ユーザの進行方向Ｖ１に基づいて構図Ｋ１が判定される。この場合、図１１に示すように、例えば、画像決定部１２６は、この構図Ｋ１に合致する画像を表示画像Ｄ１として決定してもよい。なお、構図判定部１２５は、ユーザが中央に存在する構図を判定してもよいが、図１１に示すように、ユーザが中央から所定距離ｄ１だけ離れた位置に存在する構図を判定してもよい。
なお、現在の撮像条件が判定されてもよい。すなわち、条件判定部１２２は、ユーザを撮像するための条件が整っているか否かを判定し、情報付加部１２３は、条件判定部１２２により条件が整っていないと判定された場合には、表示画像に対して条件が整っていない旨を示す情報を付加してもよい。例えば、条件判定部１２２により撮像可能領域が判定された場合には、情報付加部１２３は、撮像可能領域の限界を示すオブジェクトを表示画像に付加してもよい。
また、条件判定部１２２によりユーザの位置Ｐｕを基準としたユーザの進行方向Ｖ１に撮像可能領域の限界が判定された場合に、情報付加部１２３は、撮像可能領域の限界を示すオブジェクトを表示画像に付加してもよい。図１１には、ユーザの位置Ｐｕを基準としたユーザの進行方向Ｖ１に撮像可能領域の限界が判定されたため、撮像可能領域の限界を示すオブジェクトがＡ１として表示画像Ｄ１に付加されている。あるいは、条件判定部１２２によりユーザの位置Ｐｕと撮像可能領域の限界との距離が閾値よりも小さくなった場合に、情報付加部１２３は、撮像可能領域の限界を示すオブジェクトを表示画像に付加してもよい。
また、条件判定部１２２により撮像画像の輝度が閾値よりも小さくなった場合に、情報付加部１２３は、撮像条件の悪化を示すオブジェクトを表示画像に付加してもよい。このような処理により、進行方向を変更するようにユーザを促すことができるが、ユーザに提供される情報は、付加されるオブジェクトに限定されない。例えば、情報付加部１２３は、携帯端末２０が振動するように制御してもよいし、携帯端末２０からアラーム音が発せられるように制御してもよい。
図１２は、第２のモード設定時における表示画像について説明するための図である。例えば、図１０に示したような撮像画像Ｉｍｇが取得され、モード設定部１２４により第２のモードが設定されている場合、ユーザの位置Ｐｕを基準としたユーザの目的地の方向Ｖ２に基づいて構図Ｋ２が判定される。この場合、図１２に示すように、例えば、画像決定部１２６は、この構図Ｋ２に合致する画像を表示画像Ｄ２として決定してもよい。なお、構図判定部１２５は、ユーザが中央に存在する構図を判定してもよいが、図１２に示すように、ユーザが中央から所定距離ｄ２だけ離れた位置に存在する構図を判定してもよい。
以上においては、画像決定部１２６が、構図判定部１２５により判定された構図に基づいて、撮像装置３０により撮像された撮像画像の一部領域を切り出すことにより表示画像を決定する手法を用いることにした。撮像装置３０が固定カメラ１台であれば、このような手法しか採りえないが、撮像装置３０が、向き変更カメラである場合や、画角変更カメラである場合、撮像装置３０が複数台ある場合には、他の手法を採用することもできる。
ここで、固定カメラとは、撮像方向の変更や画角の変更が不可能なカメラを意味している。向き変更カメラは、可動カメラを意味しており、パン機能を有しているカメラでもよいし、チルト機能を有しているカメラでもよい。画角変更カメラは、画角を変更することが可能なカメラを意味している。図１３は、表示画像の決定手法のバリエーションについて説明するための図である。図１３に示すように、撮像装置３０が固定カメラである場合には、画像決定部１２６は、撮像画像から選択される領域を表示画像として決定するという手法を採る。
また、図１３に示すように、撮像装置３０が向き変更カメラである場合には、画像決定部１２６は、撮像画像を提供する撮像装置３０の撮像方向を決定し、決定した撮像方向により撮像される撮像画像を表示画像として決定する。例えば、画像決定部１２６は、構図判定部１２５により判定された構図に基づいて、撮像装置３０の撮像方向を決定する。より詳細には、画像決定部１２６は、構図判定部１２５により判定された構図に最も近い画像を撮像できる方向を、撮像装置３０の撮像方向として決定すればよい。
また、図１３に示すように、撮像装置３０が画角変更カメラである場合には、画像決定部１２６は、撮像画像を提供する撮像装置３０の画角を決定し、決定した画角により撮像される撮像画像を表示画像として決定する。例えば、画像決定部１２６は、構図判定部１２５により判定された構図に基づいて、撮像装置３０の画角を決定する。より詳細には、画像決定部１２６は、構図判定部１２５により判定された構図に最も近い画像を撮像できる画角を、撮像装置３０の画角として決定すればよい。
また、図１３に示すように、画像取得部１１１により複数の撮像装置３０の各々から提供される撮像画像が取得された場合、画像決定部１２６は、複数の撮像装置３０の各々から提供される撮像画像の中から選択される撮像画像を表示画像として決定する。例えば、画像決定部１２６は、構図判定部１２５により判定された構図に基づいて、複数の撮像装置３０の各々から提供される撮像画像の中から選択される撮像画像を表示画像として決定する。より詳細には、画像決定部１２６は、構図判定部１２５により判定された構図に最も近い撮像画像を、複数の撮像装置３０の各々から提供される撮像画像の中から選択し、選択した撮像画像を表示画像として決定すればよい。
なお、上記した例では、構図判定部１２５により判定された構図に最も近い画像を表示画像として用いることにしたが、構図との差分が閾値を超えてしまう画像しか取得されない場合には、表示画像が決定されないようにすることもできる。このような場合には、画像決定部１２６は、構図判定部１２５により判定された構図に基づいて表示画像を決定できない場合も想定される。したがって、かかる場合、画像決定部１２６は、構図以外の検出データに基づいて表示画像を決定してもよい。
検出データは特に限定されない。例えば、画像決定部１２６は、上記したようなセンサデータに基づいて特定部１１４により特定されたユーザの位置に最も近い位置を撮像した画像を表示画像として決定することもできる。また、画像決定部１２６は、映っている人物の数が最も少ない画像を表示画像として決定してもよいし、映っている人物の密度が最も小さい画像を表示画像として決定してもよい。さらに、画像決定部１２６は、最も広い範囲が撮像された画像を表示画像として決定してもよいし、最もよく利用される撮像画像を表示画像として決定してもよい。
また、撮像装置３０が存在しない場合などには、画像取得部１１１により撮像画像が取得されない場合も想定される。かかる場合、画像決定部１２６は、撮像画像以外のデータに基づいて検出されるユーザの位置とユーザの目的地を示す情報とに応じた画像を表示画像として決定してもよい。
例えば、ＧＰＳ信号の受信センサにより受信された信号に基づいてユーザの位置情報が取得された場合には、画像決定部１２６は、その位置情報とユーザの目的地を示す情報とを用いて、Ｗｅｂページなどから画像を検索してもよい。画像は、描画された地図であってもよいし、撮像された写真であってもよい。また、画像決定部１２６は、検索により複数の画像を取得した場合には、複数の画像を合成することにより生成される新たな画像を表示画像として決定してもよい。
図１４は、決定された表示画像の一例を示す図である。図１４に示すように、表示制御部１６０は、表示画像Ｄ２に、ユーザの位置Ｐｕを基準としたユーザの目的地までの距離を示すオブジェクトＯｂｊ１、目的地までの距離および目的地に到着する予定時刻を示すオブジェクトＯｂｊ２などを付加してもよい。
また、図１４に示すように、表示制御部１６０は、表示画像Ｄ２に、方角を示すオブジェクトＯｂｊ３、ユーザの位置Ｐｕを基準としたユーザの目的地の方向を示すオブジェクトＯｂｊ４などを付加してもよい。また、図１４に示すように、表示制御部１６０は、表示画像Ｄ２に、ユーザの位置Ｐｕを基準としたユーザの目的地の方向を示すオブジェクトＯｂｊ５をユーザの位置Ｐｕに付加してもよいし、ユーザの位置Ｐｕを示すオブジェクトＯｂｊ６をユーザの位置に付加してもよい。
続いて、情報処理装置１０による構図判定動作の流れについて説明する。図１５は、情報処理装置１０による構図判定動作の流れを示すフローチャートである。図１５に示すように、画像取得部１１１により撮像画像が取得されない場合には（ステップＳ２１で「Ｎｏ」）、認識部１２１は、撮像画像以外のデータからユーザを認識して（ステップＳ２２）、ステップＳ２６に動作が移行される。
一方、画像取得部１１１により撮像画像が取得された場合には（ステップＳ２１で「Ｙｅｓ」）、認識部１２１は、撮像画像からユーザを認識して（ステップＳ２３）、条件判定部１２２は、撮像するための条件が整っているか否かを判定する（ステップＳ２４）。条件判定部１２２により撮像するための条件が整っていると判定された場合には（ステップＳ２４で「Ｙｅｓ」）、ステップＳ２６に動作が移行される。一方、条件判定部１２２により撮像するための条件が整っていないと判定された場合には（ステップＳ２４で「Ｎｏ」）、情報付加部１２３は、条件が整っていない旨を示す情報を撮像画像に付加し（ステップＳ２５）、ステップＳ２６に動作が移行される。
ステップＳ２６に動作が移行された場合、モード設定部１２４は、第１のモードおよび第２のモードのいずれかを設定し（ステップＳ２６）、構図判定部１２５は、認識部１２１による認識結果に基づいて、モード設定部１２４により設定されたモードに従って、構図を判定する（ステップＳ２７）。続いて、画像決定部１２６は、構図判定部１２５により判定された構図に基づいて表示画像を決定することを試みる（ステップＳ２８）。
ここで、画像決定部１２６により表示画像が決定された場合には（ステップＳ２９で「Ｙｅｓ」）、ステップＳ３１に動作が移行される。一方、画像決定部１２６により表示画像が決定されない場合には（ステップＳ２９で「Ｎｏ」）、画像決定部１２６は、構図以外の検出データに基づいて表示画像を決定し（ステップＳ３０）、ステップＳ３１に動作が移行される。表示制御部１６０は、画像決定部１２６により決定された表示画像が携帯端末２０に表示されるように携帯端末２０を制御し（ステップＳ３１）、動作が終了される。
以上に説明したように、情報処理装置１０が有する構図判定機能によれば、撮像画像をもとにしたユーザの認識結果とユーザの目的地を示す情報とに基づいた構図が判定される。また、このように判定された構図に基づいて表示画像が決定される。このような制御により、ユーザにとってより利便性が高い表示画像が決定されることが期待される。
＜３．表現変更機能＞
続いて、情報処理装置１０が有する表現変更機能について説明する。上記したように、情報処理装置１０により何らかのネットワークサービスが提供されており、ユーザＵが携帯端末２０を介してネットワークサービスにログインすると、携帯端末２０に対してネットワークサービスが提供されていることを想定している。
ネットワークサービスへのログインは、ユーザＵに限らず、他のユーザも行うことができる。すなわち、撮像画像に映る人物（以下では、「被写体」とも言う。）は、ネットワークサービスを享受する可能性がある。そこで、以下では、撮像画像に映っている被写体のネットワークサービスにおける状態の変更を容易に把握する機能について説明する。なお、撮像画像に映る被写体は、ユーザが特定される手法と同様の手法により、認識部１２１により認識され得る。
変更検出部１３１は、画像取得部１１１により取得された撮像画像から認識された被写体のネットワークサービスにおける状態の変更を検出する。ネットワークサービスにおける状態は、特に限定されないが、例えば、被写体の携帯端末がネットワークサービスにログインしているか否かを示す情報であってもよい。すなわち、表現変更部１３２は、被写体の携帯端末がネットワークサービスにログインした旨が変更検出部１３１により検出された場合に、撮像画像に映っている被写体の表現を変更してもよい。
また、ネットワークサービスにおける状態は、ログインされている状態で特定の処理が行ったか否かを示す情報であってもよい。すなわち、表現変更部１３２は、被写体の携帯端末のネットワークサービスにおける動作が所定の条件を満たした旨が変更検出部１３１により検出された場合に、撮像画像に映っている被写体の表現を変更してもよい。所定の条件は、特に限定されないが、例えば、メッセージの書き込みを行ったという条件であってもよく、所定時間以内にメッセージの書き込みを行ったという条件であってもよい。
表現変更部１３２は、変更検出部１３１により状態の変更が検出された場合に、撮像画像に映っている被写体の表現を変更する。表現変更部１３２により撮像画像に映っている被写体の領域はどのように把握されてもよいが、例えば、被写体が映る前後の撮像画像において差分が生じた場合に、その差分領域が被写体の領域として把握されてもよい。被写体の表現をどのように変更するかについても特に限定されない。
さらに、表現変更部１３２は、特定部１１４によりユーザが特定された場合には、撮像画像に映っているユーザを強調することによりユーザの表現を変更してもよい。ユーザをどのように強調するかについても特に限定されない。表示制御部１６０は、表現変更部１３２により表現が変更されて得られる表示画像が携帯端末２０に表示されるように携帯端末２０を制御する。
ユーザの強調の手法について以下に図面を参照しながら説明する。図１６は、情報処理装置１０による表現変更機能の一例を示す図である。図１６に示すように、表現変更部１３２は、撮像画像におけるユーザＵ以外の被写体の鮮明度を低下させることによりユーザＵを強調してもよい。
図１７は、情報処理装置１０による表現変更機能の一例を示す図である。図１７に示すように、表現変更部１３２は、撮像画像におけるユーザＵの輪郭Ｌ１を強調することによりユーザＵを強調してもよい。例えば、撮像画像におけるユーザＵの輪郭Ｌ１を太くすることによりユーザＵの強調がなされてもよい。
図１８は、情報処理装置１０による表現変更機能の一例を示す図である。図１８に示すように、表現変更部１３２は、撮像画像におけるユーザＵ以外の被写体の画素値を変更することによりユーザＵを強調してもよい。例えば、撮像画像におけるユーザＵ以外の被写体の輝度を低下させることによりユーザＵを強調してもよい。
図１９は、情報処理装置１０による表現変更機能の一例を示す図である。図１９に示すように、表現変更部１３２は、撮像画像におけるユーザＵに対するズームイン表示によりユーザＵを強調してもよい。また、図１９に示すように、表現変更部１３２は、ズームイン表示を行った後、ユーザＵに対するズームアウト表示を行ってもよい。
図２０は、情報処理装置１０による表現変更機能の一例を示す図である。表現変更部１３２は、撮像画像におけるユーザの位置またはユーザの周辺の位置にオブジェクトを表示することによりユーザを強調してもよい。ユーザの周辺の範囲は、あらかじめ規定されていてもよい。図２０に示した例では、表現変更部１３２は、撮像画像におけるユーザの周辺の位置にオブジェクトＯｂｊ８，Ｏｂｊ９を付加することによりユーザＵを強調している。
また、ユーザＵの強調度合いは、一定であってもよいし、状況に応じて変化されてもよい。例えば、表現変更部１３２は、撮像画像におけるユーザのサイズに応じてユーザの強調度合いを変化させてもよい。図２１は、情報処理装置１０による表現変更機能の一例を示す図である。例えば、表現変更部１３２は、撮像画像におけるユーザのサイズが小さいほどユーザの強調度合いを強めてもよい。
図２１に示した例では、撮像装置３０からユーザＵの位置が遠いほど、撮像画像におけるユーザＵのサイズが小さくなっている。そのため、表現変更部１３２は、サイズの小さいユーザＵの輪郭Ｌ０を、サイズの大きいユーザＵの輪郭Ｌ１よりも太くすることにより、サイズの小さいユーザＵの強調度合いを強めている。このように、撮像画像におけるユーザのサイズが小さいほどユーザの強調度合いが強められることにより、撮像画像においてユーザを見つけやすくなる。
また、撮像画像においてユーザＵが他の物体に隠れてしまう場合もある。そこで、例えば、表現変更部１３２は、撮像画像においてユーザの一部または全部が他の物体により隠れて映っている場合に、ユーザの強調の手法を変化させてもよい。図２２は、情報処理装置１０による表現変更機能の一例を示す図である。図２２に示すように、撮像画像においてユーザＵの一部が他の被写体に隠れてしまっている。そこで、表現変更部１３２は、撮像画像におけるユーザＵの周辺の位置にオブジェクトＯｂｊ１０を付加することにより、ユーザＵの強調の手法を変化させている。ユーザＵの周辺の範囲は、あらかじめ規定されていてもよい。
続いて、情報処理装置１０による表現変更動作の流れについて説明する。図２３は、情報処理装置１０による表現変更動作の流れを示すフローチャートである。図２３に示すように、画像取得部１１１により撮像画像が取得されない場合には（ステップＳ４１で「Ｎｏ」）、動作が終了される。一方、画像取得部１１１により撮像画像が取得された場合には（ステップＳ４１で「Ｙｅｓ」）、認識部１２１により撮像画像から被写体が認識される（ステップＳ４２）。続いて、変更検出部１３１は、被写体のネットワークサービスにおける状態の変更を検出したか否かを判定する（ステップＳ４３）。
変更検出部１３１により被写体のネットワークサービスにおける状態の変更が検出されない場合には（ステップＳ４３で「Ｎｏ」）、動作が終了されるが、変更検出部１３１により被写体のネットワークサービスにおける状態の変更が検出された場合には（ステップＳ４３で「Ｙｅｓ」）、表現変更部１３２は、被写体の表現を変更する（ステップＳ４４）。表示制御部１６０は、表現変更部１３２により表現が変更されて得られる表示画像の表示を制御し（ステップＳ４５）、動作が終了される。
以上に説明したように、情報処理装置１０が有する表現変更機能によれば、撮像画像から認識された被写体のネットワークサービスにおける状態の変更が検出される。また、状態の変更が検出された場合に、撮像画像に映っている被写体の表現が変更される。このような制御によれば、撮像画像に映っている被写体のネットワークサービスにおける状態の変更が容易に把握されることが期待される。
＜４．むすび＞
以上説明したように、本実施形態に係る情報処理装置１０のユーザ特定機能によれば、撮像画像を取得する画像取得部１１１と、携帯端末２０のユーザに関するパラメータを取得するパラメータ取得部１１２と、パラメータに基づいて撮像画像からユーザを特定する特定部１１４と、特定部１１４によりユーザが特定されない場合、ユーザの特定に必要なユーザの動作を示す情報が携帯端末２０に表示されるように制御する表示制御部１６０と、を備える、情報処理装置１０が提供される。
かかる構成によれば、特定部１１４によりユーザが特定されない場合、ユーザの特定に必要なユーザの動作を示す情報が携帯端末２０により表示され、この情報を閲覧したユーザは、撮像画像からユーザが特定されるように動作することが可能となる。したがって、撮像画像からユーザが容易に特定されることが期待される。
また、本実施形態に係る情報処理装置１０の構図判定機能によれば、撮像画像を取得する画像取得部１１１と、撮像画像をもとにしたユーザの認識結果とユーザの目的地を示す情報とに基づいて構図を判定する構図判定部１２５と、構図判定部１２５により判定された構図に基づいて表示画像を決定する画像決定部１２６と、を備える、情報処理装置１０が提供される。
かかる構成によれば、撮像画像をもとにしたユーザの認識結果とユーザの目的地を示す情報とに基づいて構図が判定され、この構図に基づいて表示画像が決定される。例えば、構図判定部１２５により、ユーザの位置を示す情報と目的地を示す情報とに基づいて構図が判定される。したがって、ユーザにとってより利便性が高い表示画像が決定されることが期待される。
また、本実施形態に係る情報処理装置１０の表現変更機能によれば、撮像画像を取得する画像取得部１１１と、撮像画像から認識された被写体のネットワークサービスにおける状態の変更を検出する変更検出部１３１と、変更検出部１３１により状態の変更が検出された場合に、撮像画像に映っている被写体の表現を変更する表現変更部１３２と、を備える、情報処理装置１０が提供される。
かかる構成によれば、被写体のネットワークサービスにおける状態の変更が検出された場合に、撮像画像に映っている被写体の表現が変更される。この撮像画像を閲覧したユーザは、撮像画像から被写体のネットワークサービスにおける状態の変更を容易に把握することが可能となる。
なお、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、例えば、上記では、処理制御部１００および表示制御部１６０のすべてを情報処理装置１０が有する例を主に説明したが、かかるブロックの一部または全部は、情報処理装置１０の代わりに他の装置が有していてもよい。例えば、処理制御部１００および表示制御部１６０の一部をサーバが有し、その他の部分を携帯端末２０が有してもよい。このように、本開示の技術は、クラウドコンピューティングにも適用することが可能である。
また、本明細書の情報処理装置１０の動作における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、情報処理装置１０の動作における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
また、情報処理装置１０に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上述した情報処理装置１０の構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
撮像画像を取得する画像取得部と、
前記撮像画像から認識された被写体のネットワークサービスにおける状態の変更を検出する変更検出部と、
前記変更検出部により前記状態の変更が検出された場合に、前記撮像画像に映っている前記被写体の表現を変更する表現変更部と、
を備える、情報処理装置。
（２）
前記情報処理装置は、
前記撮像画像から携帯端末のユーザを特定する特定部をさらに備え、
前記表現変更部は、
前記撮像画像に映っている前記ユーザを強調することにより前記ユーザの表現を変更する、
前記（１）に記載の情報処理装置。
（３）
前記情報処理装置は、
前記表現変更部により表現が変更されて得られる表示画像が前記携帯端末に表示されるように制御する表示制御部、
をさらに備える、前記（２）に記載の情報処理装置。
（４）
前記表現変更部は、前記被写体の携帯端末が前記ネットワークサービスにログインした旨が前記変更検出部により検出された場合に、前記撮像画像に映っている前記被写体の表現を変更する、
前記（１）〜（３）のいずれか一項に記載の情報処理装置。
（５）
前記表現変更部は、前記被写体の携帯端末の前記ネットワークサービスにおける動作が所定の条件を満たした旨が前記変更検出部により検出された場合に、前記撮像画像に映っている前記被写体の表現を変更する、
前記（１）〜（３）のいずれか一項に記載の情報処理装置。
（６）
前記表現変更部は、前記撮像画像における前記ユーザのサイズに応じて前記ユーザの強調度合いを変化させる、
前記（２）または（３）に記載の情報処理装置。
（７）
前記表現変更部は、前記撮像画像における前記ユーザのサイズが小さいほど前記ユーザの強調度合いを強める、
前記（６）に記載の情報処理装置。
（８）
前記表現変更部は、前記撮像画像において前記ユーザの一部または全部が他の物体により隠れて映っている場合に、前記ユーザの強調の手法を変化させる、
前記（２）または（３）に記載の情報処理装置。
（９）
前記表現変更部は、前記撮像画像における前記ユーザ以外の被写体の鮮明度を低下させることにより前記ユーザを強調する、
前記（２）または（３）に記載の情報処理装置。
（１０）
前記表現変更部は、前記撮像画像における前記ユーザの輪郭を強調することにより前記ユーザを強調する、
前記（２）または（３）に記載の情報処理装置。
（１１）
前記表現変更部は、前記撮像画像における前記ユーザ以外の被写体の画素値を変更することにより前記ユーザを強調する、
前記（２）または（３）に記載の情報処理装置。
（１２）
前記表現変更部は、前記撮像画像における前記ユーザに対するズームイン表示により前記ユーザを強調する、
前記（２）または（３）に記載の情報処理装置。
（１３）
前記表現変更部は、前記撮像画像における前記ユーザの位置または前記ユーザの周辺の位置にオブジェクトを付加することにより前記ユーザを強調する、
前記（２）または（３）に記載の情報処理装置。
（１４）
撮像画像を取得することと、
前記撮像画像から認識された被写体のネットワークサービスにおける状態の変更を検出することと、
前記状態の変更が検出された場合に、前記撮像画像に映っている前記被写体の表現を変更することと、
を含む、情報処理方法。
（１５）
コンピュータを、
撮像画像を取得する画像取得部と、
前記撮像画像から認識された被写体のネットワークサービスにおける状態の変更を検出する変更検出部と、
前記変更検出部により前記状態の変更が検出された場合に、前記撮像画像に映っている前記被写体の表現を変更する表現変更部と、
を備える情報処理装置として機能させるためのプログラム。
１ 情報処理システム
１０ 情報処理装置
２０ 携帯端末
３０ 撮像装置
４０ ネットワーク
５０ 記憶部
１００ 処理制御部
１１１ 画像取得部
１１２ パラメータ取得部
１１３ 候補抽出部
１１４ 特定部
１１５ 認証部
１２１ 認識部
１２２ 条件判定部
１２３ 情報付加部
１２４ モード設定部
１２５ 構図判定部
１２６ 画像決定部
１３１ 変更検出部
１３２ 表現変更部
１６０ 表示制御部

Claims (12)

  1. 撮像画像を取得する画像取得部と、
    前記撮像画像から認識された被写体のネットワークサービスにおける状態の変更を検出する変更検出部と、
    前記変更検出部により前記状態の変更が検出された場合に、前記撮像画像に映っている前記被写体の表現を変更する表現変更部と、
    前記撮像画像から携帯端末のユーザを前記被写体として特定する特定部と、を備え、
    前記表現変更部は、
    前記撮像画像に映っている前記ユーザを強調することにより前記ユーザの表現を変更し、前記撮像画像における前記ユーザのサイズが小さいほど前記ユーザの強調度合いを強める、
    情報処理装置。
  2. 前記情報処理装置は、
    前記表現変更部により表現が変更されて得られる表示画像が前記携帯端末に表示されるように制御する表示制御部、
    をさらに備える、請求項１に記載の情報処理装置。
  3. 前記表現変更部は、前記被写体の携帯端末が前記ネットワークサービスにログインした旨が前記変更検出部により検出された場合に、前記撮像画像に映っている前記被写体の表現を変更する、
    請求項１または２に記載の情報処理装置。
  4. 前記表現変更部は、前記被写体の携帯端末の前記ネットワークサービスにおける動作が所定の条件を満たした旨が前記変更検出部により検出された場合に、前記撮像画像に映っている前記被写体の表現を変更する、
    請求項１または２に記載の情報処理装置。
  5. 前記表現変更部は、前記撮像画像において前記ユーザの一部または全部が他の物体により隠れて映っている場合に、前記ユーザの強調の手法を変化させる、
    請求項１または２に記載の情報処理装置。
  6. 前記表現変更部は、前記撮像画像における前記ユーザ以外の被写体の鮮明度を低下させることにより前記ユーザを強調する、
    請求項１または２に記載の情報処理装置。
  7. 前記表現変更部は、前記撮像画像における前記ユーザの輪郭を強調することにより前記ユーザを強調する、
    請求項１または２に記載の情報処理装置。
  8. 前記表現変更部は、前記撮像画像における前記ユーザ以外の被写体の画素値を変更することにより前記ユーザを強調する、
    請求項１または２に記載の情報処理装置。
  9. 前記表現変更部は、前記撮像画像における前記ユーザに対するズームイン表示により前記ユーザを強調する、
    請求項１または２に記載の情報処理装置。
  10. 前記表現変更部は、前記撮像画像における前記ユーザの位置または前記ユーザの周辺の位置にオブジェクトを付加することにより前記ユーザを強調する、
    請求項１または２に記載の情報処理装置。
  11. プロセッサにより、
    撮像画像を取得することと、
    前記撮像画像から認識された被写体のネットワークサービスにおける状態の変更を検出することと、
    前記状態の変更が検出された場合に、前記撮像画像に映っている前記被写体の表現を変更することと、
    前記撮像画像から携帯端末のユーザを前記被写体として特定することと、
    を含み、
    前記撮像画像に映っている前記ユーザを強調することにより前記ユーザの表現を変更し、前記撮像画像における前記ユーザのサイズが小さいほど前記ユーザの強調度合いを強める、
    情報処理方法。
  12. コンピュータを、
    撮像画像を取得する画像取得部と、
    前記撮像画像から認識された被写体のネットワークサービスにおける状態の変更を検出する変更検出部と、
    前記変更検出部により前記状態の変更が検出された場合に、前記撮像画像に映っている前記被写体の表現を変更する表現変更部と、
    前記撮像画像から携帯端末のユーザを前記被写体として特定する特定部と、を備え、
    前記表現変更部は、
    前記撮像画像に映っている前記ユーザを強調することにより前記ユーザの表現を変更し、前記撮像画像における前記ユーザのサイズが小さいほど前記ユーザの強調度合いを強める、
    情報処理装置として機能させるためのプログラム。
JP2014507500A 2012-03-27 2013-02-12 情報処理装置、情報処理方法およびプログラム Active JP6064995B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012071333 2012-03-27
JP2012071333 2012-03-27
PCT/JP2013/053204 WO2013145900A1 (ja) 2012-03-27 2013-02-12 情報処理装置、情報処理方法およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2013145900A1 JPWO2013145900A1 (ja) 2015-12-10
JP6064995B2 true JP6064995B2 (ja) 2017-01-25

Family

ID=49259183

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014507500A Active JP6064995B2 (ja) 2012-03-27 2013-02-12 情報処理装置、情報処理方法およびプログラム

Country Status (7)

Country Link
US (1) US9836644B2 (ja)
EP (1) EP2833627A4 (ja)
JP (1) JP6064995B2 (ja)
CN (1) CN104205799A (ja)
BR (1) BR112014023249A8 (ja)
IN (1) IN2014DN07843A (ja)
WO (1) WO2013145900A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6455763B2 (ja) * 2014-05-27 2019-01-23 パナソニックＩｐマネジメント株式会社 遠隔撮影方法及び遠隔撮影制御装置
JP6547856B2 (ja) * 2018-01-09 2019-07-24 カシオ計算機株式会社 情報表示装置、誘導表示方法およびプログラム

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7688306B2 (en) * 2000-10-02 2010-03-30 Apple Inc. Methods and apparatuses for operating a portable device based on an accelerometer
JP2002175538A (ja) * 2000-12-08 2002-06-21 Mitsubishi Electric Corp 似顔絵生成装置及び似顔絵生成方法及び似顔絵生成プログラムを記録した記録媒体及び通信用端末及び通信用端末による通信方法
US7487214B2 (en) * 2004-11-10 2009-02-03 Microsoft Corporation Integrated electronic mail and instant messaging application
JP2006174195A (ja) 2004-12-17 2006-06-29 Hitachi Ltd 映像サービスシステム
US7633076B2 (en) * 2005-09-30 2009-12-15 Apple Inc. Automated response to and sensing of user activity in portable devices
JP4915420B2 (ja) * 2006-12-11 2012-04-11 株式会社ニコン 電子カメラ
DE102007033391A1 (de) * 2007-07-18 2009-01-22 Robert Bosch Gmbh Informationsvorrichtung, Verfahren zur Information und/oder Navigation von einer Person sowie Computerprogramm
JP5012247B2 (ja) 2007-06-21 2012-08-29 ソニー株式会社 認証装置、入場管理装置、入退場管理装置、入場管理システム、入退場管理システム、認証処理方法およびプログラム
US8086071B2 (en) * 2007-10-30 2011-12-27 Navteq North America, Llc System and method for revealing occluded objects in an image dataset
KR101446772B1 (ko) * 2008-02-04 2014-10-01 삼성전자주식회사 디지털 영상 처리 장치 및 그 제어 방법
US7952596B2 (en) * 2008-02-11 2011-05-31 Sony Ericsson Mobile Communications Ab Electronic devices that pan/zoom displayed sub-area within video frames in response to movement therein
KR101016556B1 (ko) * 2010-05-06 2011-02-24 전성일 증강 현실을 이용하여 인물의 정보에 접근하기 위한 방법, 서버 및 컴퓨터 판독 가능한 기록 매체
KR101687613B1 (ko) * 2010-06-21 2016-12-20 엘지전자 주식회사 이동 단말기 및 이것의 그룹 생성 방법
US8326001B2 (en) * 2010-06-29 2012-12-04 Apple Inc. Low threshold face recognition
KR101347518B1 (ko) * 2010-08-12 2014-01-07 주식회사 팬택 필터의 선택이 가능한 증강 현실 사용자 장치 및 방법, 그리고, 증강 현실 서버
JP2012058838A (ja) * 2010-09-06 2012-03-22 Sony Corp 画像処理装置、プログラム及び画像処理方法
US8315674B2 (en) * 2010-10-08 2012-11-20 Research In Motion Limited System and method for displaying object location in augmented reality
US8994499B2 (en) * 2011-03-16 2015-03-31 Apple Inc. Locking and unlocking a mobile device using facial recognition
US9111130B2 (en) * 2011-07-08 2015-08-18 Microsoft Technology Licensing, Llc Facilitating face detection with user input
US8560004B1 (en) * 2012-08-31 2013-10-15 Google Inc. Sensor-based activation of an input device
US9408076B2 (en) * 2014-05-14 2016-08-02 The Regents Of The University Of California Sensor-assisted biometric authentication for smartphones

Also Published As

Publication number Publication date
JPWO2013145900A1 (ja) 2015-12-10
US20150049909A1 (en) 2015-02-19
EP2833627A4 (en) 2015-11-11
IN2014DN07843A (ja) 2015-04-24
WO2013145900A1 (ja) 2013-10-03
EP2833627A1 (en) 2015-02-04
US9836644B2 (en) 2017-12-05
BR112014023249A2 (ja) 2017-06-20
BR112014023249A8 (pt) 2017-07-25
CN104205799A (zh) 2014-12-10

Similar Documents

Publication Publication Date Title
EP3540620B1 (en) Image processing device and image providing method therefor
KR102465532B1 (ko) 객체 인식 방법 및 장치
US9794544B2 (en) Unauthorized viewer detection system and method
KR20220144890A (ko) 다중 사용자 환경에서 손 제스처를 사용하여 디바이스를 제어하기 위한 방법 및 시스템
KR101688168B1 (ko) 이동 단말기 및 그 제어방법
CN107831904B (zh) 电子设备及其操作方法
US9898090B2 (en) Apparatus, method and recording medium for controlling user interface using input image
US11222231B2 (en) Target matching method and apparatus, electronic device, and storage medium
CN109743504B (zh) 一种辅助拍照方法、移动终端和存储介质
JP5598232B2 (ja) 情報処理装置、情報処理システムおよび情報処理方法
KR102454515B1 (ko) 네트워크 최적화 방법 및 장치, 이미지 처리 방법 및 장치, 및 기억 매체
WO2014043620A1 (en) Unauthorized viewer detection system and method
WO2015003606A1 (en) Method and apparatus for recognizing pornographic image
JP6044633B2 (ja) 情報処理装置、情報処理方法およびプログラム
US10713480B2 (en) Information processing device and information processing method
KR20190128536A (ko) 전자 장치 및 그 제어 방법
CN110519503A (zh) 一种扫描图像的获取方法及移动终端
JP2024045460A (ja) 情報処理システム、情報処理装置、情報処理方法、およびプログラム
JP6064995B2 (ja) 情報処理装置、情報処理方法およびプログラム
CN107911563B (zh) 一种图像处理方法及移动终端
CN115761867A (zh) 基于人脸图像的身份检测方法、装置、介质及设备
JP2016021716A (ja) 追尾装置及びその制御方法
KR20110099845A (ko) 화상 통화 시스템에서 전방향 화자 인식을 위한 장치 및 방법
WO2014093293A1 (en) Unauthorized viewer detection system and method

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160419

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160524

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161122

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161205

R151 Written notification of patent or utility model registration

Ref document number: 6064995

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250