WO2013145900A1 - 情報処理装置、情報処理方法およびプログラム - Google Patents

情報処理装置、情報処理方法およびプログラム Download PDF

Info

Publication number
WO2013145900A1
WO2013145900A1 PCT/JP2013/053204 JP2013053204W WO2013145900A1 WO 2013145900 A1 WO2013145900 A1 WO 2013145900A1 JP 2013053204 W JP2013053204 W JP 2013053204W WO 2013145900 A1 WO2013145900 A1 WO 2013145900A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
captured image
unit
information processing
expression
Prior art date
Application number
PCT/JP2013/053204
Other languages
English (en)
French (fr)
Inventor
麻紀 森
俊一 笠原
脩 繁田
誠司 鈴木
遼 深澤
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to JP2014507500A priority Critical patent/JP6064995B2/ja
Priority to BR112014023249A priority patent/BR112014023249A8/pt
Priority to IN7843DEN2014 priority patent/IN2014DN07843A/en
Priority to US14/386,434 priority patent/US9836644B2/en
Priority to CN201380015462.4A priority patent/CN104205799A/zh
Priority to EP13770270.0A priority patent/EP2833627A4/en
Publication of WO2013145900A1 publication Critical patent/WO2013145900A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion

Definitions

  • This disclosure relates to an information processing apparatus, an information processing method, and a program.
  • a technique for identifying a person shown in a captured image has been developed. For example, a technique is disclosed in which a face area reflected in a captured image is collated with a face image prepared in advance, and a person appearing in the captured image is specified based on the collation result (see, for example, Patent Document 1). ). According to this technique, since the door is opened and closed when the person is successfully identified, security can be enhanced.
  • an image acquisition unit that acquires a captured image
  • a change detection unit that detects a state change in a network service of a subject recognized from the captured image
  • the change detection unit detects the change in the state.
  • an information processing apparatus including an expression changing unit that changes the expression of the subject reflected in the captured image.
  • the imaging An information processing method including changing the representation of the subject in the image.
  • the computer includes an image acquisition unit that acquires a captured image, a change detection unit that detects a change in the state of a network service of a subject recognized from the captured image, and the change detection unit.
  • a program for causing an information processing apparatus to function as an information processing apparatus includes an expression changing unit that changes the expression of the subject shown in the captured image when a change in state is detected.
  • a plurality of constituent elements having substantially the same functional configuration may be distinguished by adding different alphabets after the same reference numeral.
  • it is not necessary to particularly distinguish each of a plurality of constituent elements having substantially the same functional configuration only the same reference numerals are given.
  • the functions of the information processing apparatus according to the present embodiment are roughly classified into a user specifying function, a composition determination function, and an expression change function. First, before describing each function, the preconditions for each function will be described.
  • FIG. 1 is a diagram for explaining an outline of the present embodiment.
  • a user U having a mobile terminal 20 exists in real space.
  • the user U may exist anywhere in the real space.
  • the mobile terminal 20 is provided with a function of displaying an image, and the user U can view a screen displayed by the mobile terminal 20.
  • the user U is imaged by an imaging device 30 provided separately from the mobile terminal 20.
  • the position where the imaging device 30 is provided is not particularly limited.
  • the imaging device 30 may be attached in a building like a surveillance camera, or may be attached to a moving body such as a vehicle.
  • the type of the imaging device 30 is not particularly limited, but may be an infrared camera, for example.
  • FIG. 2 is a diagram showing a configuration of the information processing system according to the present embodiment.
  • the information processing system 1 includes an information processing device 10, a mobile terminal 20, and an imaging device 30.
  • FIG. 2 shows an example in which the information processing apparatus 10 and the mobile terminal 20 are connected via the network 40, the number of mobile terminals 20 connected to the network 40 may not be one.
  • the information processing apparatus 10 and the imaging apparatus 30 are also connected.
  • one imaging device 30 is connected to the information processing device 10, but the number of imaging devices 30 may not be one.
  • a plurality of imaging devices 30 may exist, and each of the plurality of imaging devices 30 may be connected to the information processing device 10.
  • the information processing device 10 is configured separately from the mobile terminal 20 and the imaging device 30, but may be incorporated in the mobile terminal 20 or may be incorporated in the imaging device 30. It may be.
  • the captured image captured by the imaging device 30 is provided to the mobile terminal 20 via the information processing device 10, and the mobile terminal 20 can display the captured image.
  • the information processing apparatus 10 can exhibit a user specifying function, a composition determination function, and an expression change function using the captured image provided from the imaging apparatus 30.
  • FIG. 3 is a block diagram illustrating a functional configuration example of the information processing apparatus 10 according to the present embodiment.
  • the information processing apparatus 10 includes a processing control unit 100, a display control unit 160, and a storage unit 50.
  • the processing control unit 100 includes an image acquisition unit 111, a parameter acquisition unit 112, a candidate extraction unit 113, a specification unit 114, and an authentication unit 115.
  • the image acquisition unit 111, parameter acquisition unit 112, candidate extraction unit 113, identification unit 114, and authentication unit 115 are blocks mainly related to the user identification function of the information processing apparatus 10.
  • the processing control unit 100 includes a recognition unit 121, a condition determination unit 122, an information addition unit 123, a mode setting unit 124, a composition determination unit 125, and an image determination unit 126.
  • the processing control unit 100 includes a recognition unit 121, a condition determination unit 122, an information addition unit 123, a mode setting unit 124, a composition determination unit 125, and an image determination unit 126.
  • the processing control unit 100 mainly relates to a composition determination function of the information processing apparatus 10. It is a block.
  • the processing control unit 100 includes a change detection unit 131 and an expression change unit 132.
  • the change detection unit 131 and the expression change unit 132 are mainly blocks related to the expression change function of the information processing apparatus 10.
  • the processing control unit 100 and the display control unit 160 correspond to a processor such as a CPU (Central Processing Unit) or a DSP (Digital Signal Processor).
  • the processing control unit 100 and the display control unit 160 exhibit various functions of the processing control unit 100 and the display control unit 160 by executing a program stored in the storage unit 50 or another storage medium.
  • the storage unit 50 stores a program and data for processing by the processing control unit 100 and the display control unit 160 using a storage medium such as a semiconductor memory or a hard disk.
  • the storage unit 50 stores a feature dictionary used for object recognition.
  • the storage unit 50 can store a recognition result generated as a result of object recognition.
  • the storage unit 50 is incorporated in the information processing apparatus 10, but the storage unit 50 and the information processing apparatus 10 may be configured separately.
  • FIG. 4 is a diagram illustrating an overview of the user specifying function of the information processing apparatus 10.
  • the image acquisition unit 111 acquires a captured image captured by the imaging device 30.
  • the captured image Img obtained by capturing the real space illustrated in FIG. 1 is acquired by the image acquisition unit 111 as an example of the captured image.
  • the captured image acquired by the image acquisition unit 111 is controlled by the display control unit 160 so as to be displayed by the mobile terminal 20.
  • the user is specified from the subject shown in the captured image acquired by the image acquisition unit 111.
  • the purpose of specifying the user is not particularly limited, but here, some network service is provided by the information processing apparatus 10, and the user is specified in order for the user U to log in to the network service via the mobile terminal 20. Is assumed.
  • the type of network service is not particularly limited, but here, using a mobile terminal that has completed logging in to the network service, the user himself / herself writes a message or browses a message written by the user or another user.
  • a service that can be used is assumed.
  • the timing at which the user is specified is not particularly limited, for example, it may be when an operation for requesting the user specification is performed on the mobile terminal 20 by the user.
  • the operation for requesting the user identification may be an operation for requesting login to the network service.
  • the parameter acquisition unit 112 acquires parameters related to the user to be specified.
  • the timing at which parameters are acquired by the parameter acquisition unit 112 is not particularly limited.
  • the parameters may be acquired in advance from the mobile terminal 20 that the user has, or may be acquired from the mobile terminal 20 when the user is specified. Good.
  • the type of parameter acquired by the parameter acquisition unit 112 is not particularly limited.
  • the parameter acquisition unit 112 may acquire the user's face image as the parameter P1, or may acquire sensor data indicating the user's movement as the parameter P2.
  • An apparatus for capturing a user's face image is not particularly limited.
  • the face image of the user may be, for example, a face image captured by the mobile terminal 20 or a face image captured by another device.
  • the senor for detecting the user's movement is not particularly limited.
  • the sensor that detects the user's movement may be an acceleration sensor, a GPS signal reception sensor, or a radio wave reception sensor transmitted from a Wi-fi base station.
  • the sensor which detects a user's motion may be integrated in the portable terminal 20, and may be attached to the user's body.
  • the candidate extracting unit 113 may specify the user candidate (step S11). For example, when a coordinate on a captured image displayed on the mobile terminal 20 is specified by a user operation (for example, a touch operation on the touch panel) input to the mobile terminal 20, the parameter acquisition unit 112 acquires the coordinates.
  • the candidate extraction unit 113 may specify a subject selected by the coordinates (for example, a subject existing at the coordinates) as a user candidate. By identifying user candidates, the load required for user identification is reduced.
  • the identifying unit 114 attempts to identify the user from the captured image based on the parameter acquired by the parameter acquiring unit 112 (step S12). For example, when the user's face image is acquired as the parameter P1 by the parameter acquisition unit 112, the specifying unit 114 determines the difference between the face area of the subject reflected in the captured image acquired by the image acquisition unit 111 and the user's face image. What is necessary is just to specify the subject extracted based on collation as a user. For example, the specifying unit 114 may specify, as a user, a subject having a face area with a similarity degree exceeding the threshold value with the user's face image.
  • the specifying unit 114 detects the movement of the subject detected from the captured image acquired by the image acquisition unit 111.
  • the subject extracted based on the comparison with the sensor data may be specified as the user.
  • the specifying unit 114 may specify, as a user, a subject in which sensor data having a degree of similarity exceeding a threshold and a user's movement in the captured image is detected.
  • the specifying unit 114 may specify the user based on the parameter from the user candidate.
  • the display control unit 160 controls the mobile terminal 20 so that information indicating the user action necessary for specifying the user is displayed on the mobile terminal 20. Under the control of the display control unit 160, information indicating the user's operation is displayed on the portable terminal 20 (step S13).
  • FIG. 5 is a diagram illustrating a display example of the mobile terminal 20 when the user identification fails.
  • the display control unit 160 may control the mobile terminal 20 so that information that prompts the user to turn his / her face toward the imaging device is displayed on the mobile terminal 20.
  • the imaging device 30 is a surveillance camera
  • the display control unit 160 carries the mobile phone 20 so that the message M1 “Please turn your face toward the surveillance camera” is displayed on the mobile terminal 20.
  • An example of controlling the terminal 20 is shown.
  • the authentication unit 115 may perform an authentication process on the mobile terminal 20 specified by the specifying unit 114 before the process proceeds to step S15 (step S14). Specifically, for example, as illustrated in FIG. 4, when a password is input by a user operation input to the mobile terminal 20, the authentication unit 115 determines whether the input password and a previously registered password are present. The success or failure of authentication may be determined depending on whether or not they match. If the authentication is successful, the process proceeds to step S15, but if the authentication fails, the authentication process may be performed again without proceeding to step S15.
  • step S15 the login to the network service is completed (step S15), and the display control unit 160 controls the portable terminal 20 so that the captured image and the additional information are displayed by the portable terminal 20. .
  • the captured image and the additional information are displayed on the portable terminal 20 (step S16).
  • the additional information is not particularly limited, but may be a message written by the user or another user, for example.
  • FIG. 6 is a diagram illustrating a display example of the mobile terminal 20 when the user identification is successful.
  • the display control unit 160 controls the mobile terminal 20 so that the captured image and the additional information are displayed.
  • FIG. 6 shows an example in which the display control unit 160 controls the mobile terminal 20 so that a message written by another user is displayed as additional information.
  • FIG. 7 is a diagram illustrating a display example of the mobile terminal 20 when the user identification fails.
  • the display control unit 160 Based on the position of the candidate of the user extracted by the candidate extraction unit 113 and the position of the imaging device 30 set in advance, the display control unit 160 displays information indicating the user's operation necessary for specifying the user as the mobile terminal 20. You may control the portable terminal 20 so that it may be displayed.
  • the display control unit 160 uses the position of the user candidate as a reference, and the straight line in the direction in which the user candidate is facing and the straight line in the direction in which the imaging device 30 exists are You may control the portable terminal 20 so that it may be displayed. Further, as illustrated in FIG. 7, the display control unit 160 displays, on the mobile terminal 20, an arrow indicating a rotation direction from a straight line in the direction in which the user candidate is facing to a straight line in the direction in which the imaging device 30 exists. The mobile terminal 20 may be controlled as described. In addition, as illustrated in FIG. 7, the display control unit 160 controls the mobile terminal 20 so that the message M2 “Turn Left” is displayed on the mobile terminal 20 as a message indicating the rotation direction when viewed from the user. May be.
  • FIG. 8 is a diagram illustrating a display example of the mobile terminal 20 when the user identification fails.
  • the display control unit 160 may control the mobile terminal 20 to display information indicating that the user is specified by another specifying method.
  • the display control unit 160 controls the mobile terminal 20 so that the message M3 “switching the user specifying method” is displayed on the mobile terminal 20 as information indicating that the user is specified by another specific method. May be.
  • the identification unit 114 may identify a subject extracted by another identification method as a user.
  • the specifying unit 114 attempts to specify, as a user, a subject to be extracted based on a comparison between the face area of the subject shown in the captured image and the user's face image.
  • the specifying unit 114 attempts to specify the subject extracted based on the comparison between the motion of the subject detected from the captured image and the sensor data as the user. Also good. Also, user identification may be attempted in the reverse order.
  • the specifying unit 114 can specify a subject as a user when a subject that moves outside the specified normal range is detected from the captured image.
  • FIG. 9 is a diagram illustrating a display example of the mobile terminal 20 when the user identification fails.
  • the display control unit 160 displays information that prompts the user to move the mobile terminal 20 on the mobile terminal 20 as information indicating a user action necessary for specifying the user.
  • the mobile terminal 20 may be controlled.
  • the display control unit 160 causes the mobile terminal 20 to display a message M4 “Please move the mobile terminal” as information for prompting the mobile terminal 20 to move. May be controlled.
  • an attempt is made to specify the user from the captured image based on the parameter related to the user of the mobile terminal, and the display control unit 160 specifies the user. If not, control is performed so that information indicating the user's operation necessary for specifying the user is displayed on the mobile terminal 20. By such control, it is expected that the user can be easily specified from the captured image.
  • FIG. 10 is a diagram illustrating an outline of the composition determination function of the information processing apparatus 10.
  • the captured image is displayed on the user's mobile terminal 20.
  • the user can browse the captured image displayed on the mobile terminal 20.
  • determination of a composition preferable as the captured image browsed by such a user will be described.
  • information indicating the user's destination is set.
  • Information indicating the user's destination may be input by a user operation input to the mobile terminal 20 or may be set by an application executed by the mobile terminal 20.
  • Information indicating the user's destination is represented by a position in the real space, for example.
  • Information indicating the user's destination is acquired by the information processing apparatus 10.
  • the composition determination unit 125 determines the composition based on the user's recognition result based on the captured image acquired by the image acquisition unit 111 and information indicating the user's destination.
  • the composition is a diagram showing an ideal position of an object (or an ideal direction of the object) in an image.
  • the user recognition result includes at least the user's traveling direction and the user's position in the real space.
  • the recognition result of the user is acquired by the recognition unit 121. That is, the recognition unit 121 obtains a recognition result by recognizing the user based on the captured image.
  • the position in the user's real space is indicated as Pu
  • the user's traveling direction is indicated as V1
  • the direction of the user's destination based on the user's position Pu is indicated as V2. Yes.
  • the composition determination unit 125 may determine the composition based on the direction of the user's destination based on the user's position. For example, in the example illustrated in FIG. 10, the composition determination unit 125 may determine the composition based on the user's destination direction V2 with reference to the user position Pu. For example, when the composition determination unit 125 determines the composition based on V2, the region in the direction of V2 with respect to the position Pu of the user is larger than the region in the direction opposite to V2 with respect to the position Pu of the user. Such an image may be determined as a composition.
  • FIG. 10 shows an example of the composition determined in this way as K2.
  • a point C2 indicates the center point of the composition K2.
  • the composition determination unit 125 may determine the composition based on the user's traveling direction. For example, in the example illustrated in FIG. 10, the composition determination unit 125 may determine the composition based on the user's traveling direction V1. For example, when the composition determination unit 125 determines the composition based on V1, the region in the direction of V1 with respect to the position Pu of the user is larger than the region in the direction opposite to V1 with respect to the position Pu of the user. Such an image may be determined as a composition.
  • FIG. 10 shows an example of the composition determined in this way as K1. A point C1 indicates the center point of the composition K1.
  • the composition determination unit 125 may determine the composition based on the user's traveling direction V1 uniformly or based on the user's destination direction V2 based on the user's position Pu. However, any one of the determination methods may be selectively used. That is, the mode for determining the composition based on the user's traveling direction V1 is the first mode, and the mode for determining the composition based on the user's destination direction V2 with respect to the user's position Pu is the second mode. In this case, the mode setting unit 124 may set one of these two modes. In that case, the composition determination unit 125 may determine the composition according to the mode set by the mode setting unit 124. The mode may be set based on a user operation input to the mobile terminal 20 or may be set by an application executed by the mobile terminal 20.
  • the image determination unit 126 determines a display image based on the composition determined by the composition determination unit 125.
  • the image determination unit 126 may determine, for example, an image that matches the composition determined by the composition determination unit 125 as a display image, or is closest to the composition determined by the composition determination unit 125 within a selectable range. An image may be determined as a display image.
  • the display control unit 160 controls the mobile terminal 20 so that the display image determined by the image determination unit 126 is displayed on the mobile terminal 20.
  • FIG. 11 is a diagram for explaining a display image when the first mode is set.
  • the composition K1 is determined based on the traveling direction V1 of the user.
  • the image determination unit 126 may determine an image that matches the composition K1 as the display image D1.
  • the composition determination unit 125 may determine the composition in which the user exists in the center, but as shown in FIG. 11, the composition determination unit 125 may determine the composition in which the user exists at a position away from the center by a predetermined distance d1. Good.
  • the current imaging conditions may be determined. That is, the condition determination unit 122 determines whether or not the conditions for capturing the user are satisfied, and the information addition unit 123 displays the display when the condition determination unit 122 determines that the conditions are not satisfied. Information indicating that the condition is not satisfied may be added to the image. For example, if the condition determining unit 122 determines an imageable area, the information adding unit 123 may add an object indicating the limit of the imageable area to the display image.
  • the information adding unit 123 displays an object indicating the limit of the imageable area as a display image. May be added.
  • an object indicating the limit of the imageable area is added to the display image D1 as A1.
  • the information adding unit 123 adds an object indicating the limit of the imageable area to the display image. May be.
  • the information adding unit 123 may add an object indicating deterioration of the imaging condition to the display image. Such processing can prompt the user to change the traveling direction, but the information provided to the user is not limited to the added object.
  • the information adding unit 123 may control the mobile terminal 20 to vibrate, or may control the mobile terminal 20 to emit an alarm sound.
  • FIG. 12 is a diagram for explaining a display image when the second mode is set.
  • the image determination unit 126 may determine an image that matches the composition K2 as the display image D2.
  • the composition determination unit 125 may determine the composition in which the user exists in the center, but as shown in FIG. 12, the composition determination unit 125 may determine the composition in which the user exists at a position away from the center by a predetermined distance d2. Good.
  • the image determination unit 126 determines a display image by cutting out a partial region of a captured image captured by the imaging device 30 based on the composition determined by the composition determination unit 125. did. If the imaging device 30 is one fixed camera, only such a method can be used. However, when the imaging device 30 is a direction change camera or an angle of view change camera, there are a plurality of imaging devices 30. In other cases, other techniques can be employed.
  • the fixed camera means a camera that cannot change the imaging direction or the angle of view.
  • the direction changing camera means a movable camera, and may be a camera having a pan function or a camera having a tilt function.
  • the view angle changing camera means a camera capable of changing the view angle.
  • FIG. 13 is a diagram for explaining a variation of the display image determination method. As illustrated in FIG. 13, when the imaging device 30 is a fixed camera, the image determination unit 126 adopts a method of determining an area selected from the captured image as a display image.
  • the image determination unit 126 determines the imaging direction of the imaging device 30 that provides the captured image, and is imaged according to the determined imaging direction.
  • the captured image is determined as a display image.
  • the image determination unit 126 determines the imaging direction of the imaging device 30 based on the composition determined by the composition determination unit 125. More specifically, the image determination unit 126 may determine a direction in which an image closest to the composition determined by the composition determination unit 125 can be captured as the imaging direction of the imaging device 30.
  • the image determination unit 126 determines the angle of view of the imaging device 30 that provides the captured image, and performs imaging based on the determined angle of view.
  • the captured image to be processed is determined as a display image.
  • the image determination unit 126 determines the angle of view of the imaging device 30 based on the composition determined by the composition determination unit 125. More specifically, the image determination unit 126 may determine the angle of view at which the image closest to the composition determined by the composition determination unit 125 can be captured as the angle of view of the imaging device 30.
  • the image determination unit 126 is provided from each of the plurality of imaging devices 30.
  • a captured image selected from the captured images is determined as a display image.
  • the image determination unit 126 determines a captured image selected from captured images provided from each of the plurality of imaging devices 30 as a display image based on the composition determined by the composition determination unit 125. More specifically, the image determination unit 126 selects a captured image closest to the composition determined by the composition determination unit 125 from the captured images provided from each of the plurality of imaging devices 30, and selects the selected captured image. May be determined as a display image.
  • the image closest to the composition determined by the composition determination unit 125 is used as the display image.
  • the display image is displayed. It is also possible not to be determined. In such a case, it is assumed that the image determination unit 126 cannot determine the display image based on the composition determined by the composition determination unit 125. Therefore, in such a case, the image determination unit 126 may determine a display image based on detection data other than the composition.
  • Detected data is not particularly limited.
  • the image determination unit 126 can also determine, as a display image, an image obtained by capturing a position closest to the user's position specified by the specifying unit 114 based on the sensor data as described above.
  • the image determination unit 126 may determine an image with the smallest number of reflected people as a display image, or may determine an image with the lowest density of reflected people as a display image.
  • the image determination unit 126 may determine an image in which the widest range is captured as a display image, or may determine a captured image that is most frequently used as a display image.
  • the image determination unit 126 may determine, as a display image, an image corresponding to the user position detected based on data other than the captured image and information indicating the user destination.
  • the image determination unit 126 uses the position information and information indicating the user's destination to generate a Web Images may be searched from a page or the like.
  • the image may be a drawn map or a photograph taken.
  • the image determination unit 126 may determine a new image generated by combining the plurality of images as a display image.
  • FIG. 14 is a diagram showing an example of the determined display image.
  • the display control unit 160 arrives at the display image D ⁇ b> 2, an object Obj ⁇ b> 1 indicating the distance to the user's destination based on the user's position Pu, the distance to the destination, and the destination.
  • An object Obj2 indicating time may be added.
  • the display control unit 160 may add an object Obj3 indicating the direction, an object Obj4 indicating the direction of the user's destination based on the user position Pu, and the like to the display image D2. Good. Further, as shown in FIG. 14, the display control unit 160 may add an object Obj5 indicating the direction of the user's destination with respect to the user position Pu to the display image D2 to the user position Pu. The object Obj6 indicating the user position Pu may be added to the user position.
  • FIG. 15 is a flowchart illustrating the flow of the composition determination operation performed by the information processing apparatus 10.
  • the recognition unit 121 recognizes the user from data other than the captured image (step S22), Operation proceeds to step S26.
  • step S21 when the captured image is acquired by the image acquisition unit 111 (“Yes” in step S21), the recognition unit 121 recognizes the user from the captured image (step S23), and the condition determination unit 122 captures the image. It is determined whether or not the conditions for doing so are met (step S24). If the condition determination unit 122 determines that the conditions for imaging are satisfied (“Yes” in step S24), the operation proceeds to step S26. On the other hand, when the condition determining unit 122 determines that the conditions for imaging are not satisfied (“No” in step S24), the information adding unit 123 captures information indicating that the conditions are not satisfied. (Step S25), and the operation proceeds to step S26.
  • the mode setting unit 124 sets either the first mode or the second mode (step S26), and the composition determination unit 125 is based on the recognition result by the recognition unit 121. Then, the composition is determined according to the mode set by the mode setting unit 124 (step S27). Subsequently, the image determination unit 126 attempts to determine a display image based on the composition determined by the composition determination unit 125 (step S28).
  • step S29 when the display image is determined by the image determination unit 126 (“Yes” in step S29), the operation is shifted to step S31.
  • the image determination unit 126 determines a display image based on detection data other than the composition (step S30), and step S31.
  • the operation is transferred to.
  • the display control unit 160 controls the mobile terminal 20 so that the display image determined by the image determination unit 126 is displayed on the mobile terminal 20 (step S31), and the operation ends.
  • a composition is determined based on the user's recognition result based on the captured image and information indicating the user's destination. Further, a display image is determined based on the composition determined in this way. Such control is expected to determine a display image that is more convenient for the user.
  • Login to the network service is not limited to the user U, but can be performed by other users. That is, a person (hereinafter also referred to as “subject”) shown in the captured image may enjoy the network service. Therefore, hereinafter, a function for easily grasping a change in the state of the subject in the network service in the captured image will be described. Note that the subject shown in the captured image can be recognized by the recognition unit 121 by a method similar to the method for identifying the user.
  • the change detection unit 131 detects a change in the state of the subject network service recognized from the captured image acquired by the image acquisition unit 111.
  • the state in the network service is not particularly limited, for example, it may be information indicating whether the subject mobile terminal is logged in to the network service. That is, the expression changing unit 132 may change the expression of the subject shown in the captured image when the change detecting unit 131 detects that the subject mobile terminal has logged into the network service.
  • the status in the network service may be information indicating whether or not a specific process has been performed while logged in.
  • the expression changing unit 132 changes the expression of the subject shown in the captured image when the change detecting unit 131 detects that the operation of the subject mobile terminal in the network service satisfies a predetermined condition. Also good.
  • the predetermined condition is not particularly limited, but may be, for example, a condition that a message is written or a condition that a message is written within a predetermined time.
  • the expression changing unit 132 changes the expression of the subject shown in the captured image when the change detecting unit 131 detects a change in state.
  • the subject change area displayed in the captured image may be grasped in any way by the expression changing unit 132. For example, when a difference occurs in the captured image before and after the subject is reflected, the difference area is set as the subject area. It may be grasped. There is no particular limitation on how to change the expression of the subject.
  • the expression changing unit 132 may change the user's expression by emphasizing the user shown in the captured image when the specifying unit 114 specifies the user. There is no particular limitation on how to emphasize the user.
  • the display control unit 160 controls the mobile terminal 20 so that a display image obtained by changing the expression by the expression changing unit 132 is displayed on the mobile terminal 20.
  • FIG. 16 is a diagram illustrating an example of an expression change function by the information processing apparatus 10. As illustrated in FIG. 16, the expression changing unit 132 may emphasize the user U by reducing the definition of a subject other than the user U in the captured image.
  • FIG. 17 is a diagram illustrating an example of an expression change function by the information processing apparatus 10.
  • the expression changing unit 132 may emphasize the user U by enhancing the contour L1 of the user U in the captured image.
  • the user U may be emphasized by thickening the contour L1 of the user U in the captured image.
  • FIG. 18 is a diagram illustrating an example of an expression change function by the information processing apparatus 10.
  • the expression changing unit 132 may emphasize the user U by changing the pixel value of a subject other than the user U in the captured image.
  • the user U may be emphasized by reducing the luminance of a subject other than the user U in the captured image.
  • FIG. 19 is a diagram illustrating an example of an expression change function by the information processing apparatus 10.
  • the expression changing unit 132 may emphasize the user U by zooming in on the user U in the captured image.
  • the expression changing unit 132 may perform zoom-out display for the user U after performing zoom-in display.
  • FIG. 20 is a diagram illustrating an example of an expression change function by the information processing apparatus 10.
  • the expression changing unit 132 may emphasize the user by displaying the object at the position of the user in the captured image or a position around the user. The range around the user may be defined in advance. In the example shown in FIG. 20, the expression changing unit 132 emphasizes the user U by adding objects Obj8 and Obj9 to positions around the user in the captured image.
  • the emphasis degree of the user U may be constant or may be changed according to the situation.
  • the expression changing unit 132 may change the degree of enhancement of the user according to the size of the user in the captured image.
  • FIG. 21 is a diagram illustrating an example of an expression change function by the information processing apparatus 10.
  • the expression changing unit 132 may increase the degree of enhancement of the user as the size of the user in the captured image is smaller.
  • the size of the user U in the captured image is smaller as the position of the user U is farther from the imaging device 30.
  • the expression changing unit 132 increases the degree of emphasis of the small user U by making the contour L0 of the small user U thicker than the contour L1 of the large user U.
  • the user's emphasis degree is strengthened as the size of the user in the captured image is smaller, so that the user can be easily found in the captured image.
  • FIG. 22 is a diagram illustrating an example of an expression change function by the information processing apparatus 10. As shown in FIG. 22, a part of the user U is hidden behind another subject in the captured image. Therefore, the expression changing unit 132 changes the method of emphasizing the user U by adding the object Obj10 to positions around the user U in the captured image.
  • the range around the user U may be defined in advance.
  • FIG. 23 is a flowchart showing the flow of the expression changing operation by the information processing apparatus 10.
  • the operation ends.
  • the recognition unit 121 recognizes the subject from the captured image (step S42).
  • the change detection unit 131 determines whether or not a change in the state of the subject in the network service has been detected (step S43).
  • step S43 If the change detection unit 131 does not detect a change in the state of the subject in the network service (“No” in step S43), the operation ends, but the change detection unit 131 detects a change in the state of the subject in the network service. If so ("Yes” in step S43), the expression changing unit 132 changes the expression of the subject (step S44).
  • the display control unit 160 controls the display of the display image obtained by changing the expression by the expression changing unit 132 (step S45), and the operation ends.
  • a change in state in the network service of the subject recognized from the captured image is detected. Further, when a change in state is detected, the representation of the subject shown in the captured image is changed. According to such control, it is expected that the change of the state of the subject in the captured image in the network service can be easily grasped.
  • the image acquisition unit 111 that acquires a captured image
  • the parameter acquisition unit 112 that acquires parameters related to the user of the mobile terminal 20
  • a specifying unit 114 that specifies a user from a captured image based on a parameter, and when a user is not specified by the specifying unit 114, control is performed so that information indicating a user action necessary for specifying the user is displayed on the mobile terminal 20.
  • An information processing apparatus 10 including a display control unit 160 is provided.
  • the image acquisition unit 111 that acquires the captured image, the user recognition result based on the captured image, and the information indicating the user destination
  • An information processing apparatus 10 is provided that includes a composition determination unit 125 that determines a composition based on the image determination unit 126 and an image determination unit 126 that determines a display image based on the composition determined by the composition determination unit 125.
  • the composition is determined based on the recognition result of the user based on the captured image and the information indicating the destination of the user, and the display image is determined based on the composition.
  • the composition determination unit 125 determines the composition based on information indicating the position of the user and information indicating the destination. Therefore, it is expected that a display image that is more convenient for the user is determined.
  • the image acquisition unit 111 that acquires a captured image
  • the change detection unit that detects a change in the state of the subject recognized from the captured image in the network service
  • An information processing apparatus 10 which includes 131 and an expression changing unit 132 that changes the expression of a subject shown in a captured image when a change in state is detected by the change detecting unit 131.
  • the representation of the subject shown in the captured image is changed.
  • a user who browses the captured image can easily grasp the change in the state of the subject in the network service from the captured image.
  • the example in which the information processing apparatus 10 includes all of the processing control unit 100 and the display control unit 160 has been mainly described. However, some or all of the blocks may be replaced with the information processing apparatus 10.
  • the apparatus may have.
  • the server may have a part of the processing control unit 100 and the display control unit 160, and the mobile terminal 20 may have the other part.
  • the technology of the present disclosure can also be applied to cloud computing.
  • each step in the operation of the information processing apparatus 10 of the present specification does not necessarily have to be processed in time series in the order described as a flowchart.
  • each step in the operation of the information processing apparatus 10 may be processed in an order different from the order described as the flowchart, or may be processed in parallel.
  • An image acquisition unit for acquiring a captured image
  • a change detection unit for detecting a change in state in the network service of the subject recognized from the captured image
  • An expression changing unit that changes the expression of the subject shown in the captured image when the change of the state is detected by the change detecting unit
  • An information processing apparatus comprising: (2) The information processing apparatus includes: Further comprising a specifying unit for specifying a user of the mobile terminal from the captured image; The expression change unit Changing the user's expression by highlighting the user appearing in the captured image; The information processing apparatus according to (1).
  • the information processing apparatus includes: A display control unit for controlling the display image obtained by changing the expression by the expression changing unit to be displayed on the mobile terminal;
  • the information processing apparatus according to (2) further including: (4)
  • the expression change unit changes the expression of the subject shown in the captured image when the change detection unit detects that the portable terminal of the subject has logged into the network service.
  • the information processing apparatus according to any one of (1) to (3) The expression change unit changes the expression of the subject shown in the captured image when the change detection unit detects that the operation of the mobile terminal of the subject in the network service satisfies a predetermined condition.
  • the expression changing unit changes the degree of enhancement of the user according to the size of the user in the captured image.
  • the information processing apparatus according to (2) or (3).
  • the expression changing unit increases the degree of enhancement of the user as the size of the user in the captured image is smaller.
  • the expression changing unit changes the user's emphasis method when a part or all of the user is reflected by another object in the captured image.
  • the information processing apparatus according to (2) or (3). (9)
  • the expression changing unit emphasizes the user by reducing the sharpness of a subject other than the user in the captured image;
  • the expression changing unit emphasizes the user by enhancing an outline of the user in the captured image;
  • the expression changing unit emphasizes the user by changing a pixel value of a subject other than the user in the captured image; The information processing apparatus according to (2) or (3). (12) The expression changing unit emphasizes the user by zooming in on the user in the captured image. The information processing apparatus according to (2) or (3). (13) The expression changing unit emphasizes the user by adding an object to the position of the user in the captured image or a position around the user. The information processing apparatus according to (2) or (3). (14) Acquiring a captured image; Detecting a change in the state of the network service of the subject recognized from the captured image; Changing the expression of the subject shown in the captured image when a change in the state is detected; Including an information processing method.
  • Computer An image acquisition unit for acquiring a captured image;
  • a change detection unit for detecting a change in state in the network service of the subject recognized from the captured image;
  • An expression changing unit that changes the expression of the subject shown in the captured image when the change of the state is detected by the change detecting unit;
  • a program for causing an information processing apparatus to function.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Studio Devices (AREA)
  • User Interface Of Digital Computer (AREA)
  • Facsimiles In General (AREA)
  • Image Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】撮像画像に映っている被写体のネットワークサービスにおける状態の変更を容易に把握する。 【解決手段】撮像画像を取得する画像取得部と、前記撮像画像から認識された被写体のネットワークサービスにおける状態の変更を検出する変更検出部と、前記変更検出部により前記状態の変更が検出された場合に、前記撮像画像に映っている前記被写体の表現を変更する表現変更部と、を備える、情報処理装置が提供される。

Description

情報処理装置、情報処理方法およびプログラム
　本開示は、情報処理装置、情報処理方法およびプログラムに関する。
　近年、撮像画像に映っている人物を特定するための技術が開発されている。例えば、撮像画像に映っている顔領域とあらかじめ用意された顔画像とを照合し、照合結果に基づいて撮像画像に映っている人物を特定する技術が開示されている（例えば、特許文献１参照）。この技術によれば、人物の特定に成功した場合に扉の開閉がなされるため、セキュリティを強化することが可能となる。
　セキュリティ強化を目的とする場合だけではなく、撮像画像に映っている人物を特定するための技術は、様々な場面に応用されている。
特開２００９－３６５９号公報
　しかしながら、撮像画像に映っている被写体の状態を容易に把握したいという要求がある。例えば、撮像画像に映っている被写体のネットワークサービスにおける状態の変更を容易に把握することができれば、ユーザの利便性が向上する。したがって、撮像画像に映っている被写体のネットワークサービスにおける状態の変更を容易に把握するための技術が実現されることが望ましい。
　本開示によれば、撮像画像を取得する画像取得部と、前記撮像画像から認識された被写体のネットワークサービスにおける状態の変更を検出する変更検出部と、前記変更検出部により前記状態の変更が検出された場合に、前記撮像画像に映っている前記被写体の表現を変更する表現変更部と、を備える、情報処理装置が提供される。
　また、本開示によれば、撮像画像を取得することと、前記撮像画像から認識された被写体のネットワークサービスにおける状態の変更を検出することと、前記状態の変更が検出された場合に、前記撮像画像に映っている前記被写体の表現を変更することと、を含む、情報処理方法が提供される。
　また、本開示によれば、コンピュータを、撮像画像を取得する画像取得部と、前記撮像画像から認識された被写体のネットワークサービスにおける状態の変更を検出する変更検出部と、前記変更検出部により前記状態の変更が検出された場合に、前記撮像画像に映っている前記被写体の表現を変更する表現変更部と、を備える情報処理装置として機能させるためのプログラムが提供される。
　以上説明したように本開示によれば、撮像画像に映っている被写体のネットワークサービスにおける状態の変更を容易に把握することが可能である。
本実施形態の概要を説明するための図である。 本実施形態に係る情報処理システムの構成を示す図である。 本実施形態に係る情報処理装置の機能構成例を示すブロック図である。 情報処理装置が有するユーザ特定機能の概要を示す図である。 ユーザ特定に失敗した場合における携帯端末の表示例を示す図である。 ユーザ特定に成功した場合における携帯端末の表示例を示す図である。 ユーザ特定に失敗した場合における携帯端末の表示例を示す図である。 ユーザ特定に失敗した場合における携帯端末の表示例を示す図である。 ユーザ特定に失敗した場合における携帯端末の表示例を示す図である。 情報処理装置が有する構図判定機能の概要を示す図である。 第１のモード設定時における表示画像について説明するための図である。 第２のモード設定時における表示画像について説明するための図である。 表示画像の決定手法のバリエーションについて説明するための図である。 決定された表示画像の一例を示す図である。 情報処理装置による構図判定動作の流れを示すフローチャートである。 情報処理装置による表現変更機能の一例を示す図である。 情報処理装置による表現変更機能の一例を示す図である。 情報処理装置による表現変更機能の一例を示す図である。 情報処理装置による表現変更機能の一例を示す図である。 情報処理装置による表現変更機能の一例を示す図である。 情報処理装置による表現変更機能の一例を示す図である。 情報処理装置による表現変更機能の一例を示す図である。 情報処理装置による表現変更動作の流れを示すフローチャートである。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
　また、以下に示す項目順序に従って当該「発明を実施するための形態」を説明する。
　　１．ユーザ特定機能
　　２．構図判定機能
　　３．表現変更機能
　　４．むすび
　本実施形態に係る情報処理装置が有する機能は、ユーザ特定機能、構図判定機能および表現変更機能に大別される。まず、各機能について説明する前に、各機能の前提となる条件について説明する。
　図１は、本実施形態の概要を説明するための図である。図１に示すように、携帯端末２０を有するユーザＵが実空間に存在している。ユーザＵは実空間内のどこに存在していてもよい。また、携帯端末２０には画像を表示する機能が設けられており、ユーザＵは携帯端末２０により表示された画面を閲覧することが可能である。ユーザＵは、携帯端末２０とは別に設けられている撮像装置３０により撮像される。撮像装置３０が設けられる位置は特に限定されないが、例えば、監視カメラのように建物内に取り付けられていてもよいし、乗り物などの移動体に取り付けられていてもよい。また、撮像装置３０の種類は特に限定されないが、例えば、赤外線カメラなどであってもよい。
　図２は、本実施形態に係る情報処理システムの構成を示す図である。図２に示すように、情報処理システム１は、情報処理装置１０と携帯端末２０と撮像装置３０とを備えている。図２には、情報処理装置１０と携帯端末２０とがネットワーク４０を介して接続されている例が示されているが、ネットワーク４０に接続される携帯端末２０は１つでなくてもよい。例えば、携帯端末２０が複数存在し、複数の携帯端末２０の各々がネットワーク４０に接続されていてもよい。
　また、図２に示したように、情報処理装置１０と撮像装置３０とも接続されている。図２に示した例では、１つの撮像装置３０が情報処理装置１０に接続されているが、撮像装置３０は１つでなくてもよい。例えば、撮像装置３０が複数存在し、複数の撮像装置３０の各々が情報処理装置１０に接続されていてもよい。
　また、図２に示した例では、情報処理装置１０は、携帯端末２０および撮像装置３０と別体に構成されているが、携帯端末２０に組み込まれていてもよいし、撮像装置３０に組み込まれていてもよい。撮像装置３０により撮像された撮像画像は情報処理装置１０を介して携帯端末２０に提供され、携帯端末２０は撮像画像を表示することが可能である。情報処理装置１０は、撮像装置３０から提供される撮像画像を用いて、ユーザ特定機能、構図判定機能および表現変更機能を発揮することができる。
　図３は、本実施形態に係る情報処理装置１０の機能構成例を示すブロック図である。図３に示したように、情報処理装置１０は、処理制御部１００、表示制御部１６０および記憶部５０を備える。また、処理制御部１００は、画像取得部１１１、パラメータ取得部１１２、候補抽出部１１３、特定部１１４および認証部１１５を備える。画像取得部１１１、パラメータ取得部１１２、候補抽出部１１３、特定部１１４および認証部１１５は、主に、情報処理装置１０が有するユーザ特定機能に関わるブロックである。
　また、処理制御部１００は、認識部１２１、条件判定部１２２、情報付加部１２３、モード設定部１２４、構図判定部１２５および画像決定部１２６を備える。処理制御部１００は、認識部１２１、条件判定部１２２、情報付加部１２３、モード設定部１２４、構図判定部１２５および画像決定部１２６は、主に、情報処理装置１０が有する構図判定機能に関わるブロックである。
　また、処理制御部１００は、変更検出部１３１および表現変更部１３２を備える。変更検出部１３１および表現変更部１３２は、主に、情報処理装置１０が有する表現変更機能に関わるブロックである。
　処理制御部１００および表示制御部１６０は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）またはＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）などのプロセッサに相当する。処理制御部１００および表示制御部１６０は、記憶部５０または他の記憶媒体に記憶されるプログラムを実行することにより、処理制御部１００および表示制御部１６０が有する様々な機能を発揮する。
　記憶部５０は、半導体メモリまたはハードディスクなどの記憶媒体を用いて、処理制御部１００および表示制御部１６０による処理のためのプログラムおよびデータを記憶する。例えば、記憶部５０は、物体認識のために使用される特徴量辞書を記憶する。さらに、記憶部５０は、物体認識の結果として生成される認識結果を記憶することもできる。図３に示した例では、記憶部５０が情報処理装置１０に組み込まれているが、記憶部５０と情報処理装置１０とは別体に構成されてもよい。
　以上、各機能の前提について説明した。以下では、これらの各機能について順を追って説明する。
　＜１．ユーザ特定機能＞
　まず、情報処理装置１０が有するユーザ特定機能について説明する。図４は、情報処理装置１０が有するユーザ特定機能の概要を示す図である。まず、画像取得部１１１は、撮像装置３０により撮像された撮像画像を取得する。図４に示した例では、撮像画像の例として、図１に示された実空間が撮像された撮像画像Ｉｍｇが画像取得部１１１により取得されている。画像取得部１１１により取得された撮像画像は、携帯端末２０により表示されるように表示制御部１６０により制御される。
　ユーザ特定機能によれば、画像取得部１１１により取得された撮像画像に映っている被写体からユーザが特定される。ユーザ特定の目的は特に限定されないが、ここでは、情報処理装置１０により何らかのネットワークサービスが提供されており、ユーザＵが携帯端末２０を介してネットワークサービスにログインするためにユーザの特定がなされることを想定している。
　ネットワークサービスの種類も特に限定されないが、ここでは、ネットワークサービスへのログインが完了している携帯端末を用いて、ユーザ自身がメッセージの書き込みを行ったりユーザ自身や他のユーザが書き込んだメッセージを閲覧したりすることができるサービスを想定している。ユーザの特定がなされるタイミングは特に限定されないが、例えば、ユーザによってユーザ特定を要求するための操作が携帯端末２０に対してなされたときであってもよい。ユーザ特定を要求するための操作は、ネットワークサービスへのログインを要求するための操作であってもよい。
　撮像画像に映っている被写体からユーザを特定するため、パラメータ取得部１１２は、特定すべきユーザに関するパラメータを取得する。パラメータ取得部１１２によりパラメータが取得されるタイミングは特に限定されないが、例えば、ユーザが有する携帯端末２０からあらかじめ取得されてもよいし、ユーザの特定がなされる際に携帯端末２０から取得されてもよい。
　パラメータ取得部１１２により取得されるパラメータの種類は特に限定されない。例えば、図４に示すように、パラメータ取得部１１２は、ユーザの顔画像をパラメータＰ１として取得してもよいし、ユーザの動きを示すセンサデータをパラメータＰ２として取得してもよい。ユーザの顔画像を撮像する装置は特に限定されない。ユーザの顔画像は、例えば、携帯端末２０により撮像された顔画像であってもよいし、他の装置によって撮像された顔画像であってもよい。
　また、ユーザの動きを検出するセンサは特に限定されない。ユーザの動きを検出するセンサは、加速度センサであってもよいし、ＧＰＳ信号の受信センサであってもよいし、Ｗｉ－ｆｉ基地局から送信される電波の受信センサであってもよい。また、ユーザの動きを検出するセンサは、携帯端末２０に組み込まれていてもよいし、ユーザの身体に取り付けられていてもよい。
　特定部１１４によるユーザの特定がなされる前に、候補抽出部１１３によりユーザの候補の特定がなされてもよい（ステップＳ１１）。例えば、携帯端末２０に入力されるユーザ操作（例えば、タッチパネルへのタッチ操作）により携帯端末２０に表示されている撮像画像上の座標が指定された場合、パラメータ取得部１１２はその座標を取得し、候補抽出部１１３は、その座標により選択される被写体（例えば、その座標に存在する被写体）をユーザの候補として特定してもよい。ユーザの候補を特定しておくことによりユーザの特定に要する負荷が軽減される。
　特定部１１４は、パラメータ取得部１１２により取得されたパラメータに基づいて撮像画像からユーザの特定を試みる（ステップＳ１２）。例えば、特定部１１４は、パラメータ取得部１１２によりユーザの顔画像がパラメータＰ１として取得された場合には、画像取得部１１１により取得された撮像画像に映る被写体の顔領域とユーザの顔画像との照合に基づいて抽出される被写体をユーザとして特定すればよい。例えば、特定部１１４は、ユーザの顔画像と閾値を超える類似度の顔領域を有する被写体をユーザとして特定すればよい。
　また、例えば、特定部１１４は、パラメータ取得部１１２によりユーザの動きを示すセンサデータがパラメータＰ２として取得された場合には、画像取得部１１１により取得された撮像画像から検出される被写体の動きとセンサデータとの照合に基づいて抽出される被写体をユーザとして特定すればよい。例えば、特定部１１４は、撮像画像におけるユーザの動きと閾値を超える類似度のセンサデータが検出された被写体をユーザとして特定すればよい。なお、ユーザの候補が特定されている場合には、特定部１１４は、ユーザの候補からパラメータに基づいてユーザを特定すればよい。
　特定部１１４によりユーザの特定が試みられた結果、ユーザが特定されない状況も想定される。例えば、類似度が閾値を超えない場合などがそのような状況に該当する。したがって、表示制御部１６０は、特定部１１４によりユーザが特定されない場合、ユーザの特定に必要なユーザの動作を示す情報が携帯端末２０に表示されるように携帯端末２０を制御する。表示制御部１６０の制御に従って、携帯端末２０にはユーザの動作を示す情報が表示される（ステップＳ１３）。
　図５は、ユーザ特定に失敗した場合における携帯端末２０の表示例を示す図である。例えば、表示制御部１６０は、特定部１１４によりユーザが特定されない場合、撮像装置側に顔を向けることを促す情報が携帯端末２０に表示されるように携帯端末２０を制御してもよい。図５には、撮像装置３０が監視カメラである場合を想定し、表示制御部１６０は、「監視カメラの方に顔を向けてください」というメッセージＭ１が携帯端末２０に表示されるように携帯端末２０を制御している例が示されている。
　図４に戻って説明を続ける。特定部１１４によりユーザが特定された場合、ステップＳ１５に移行される前に、認証部１１５は、特定部１１４により特定された携帯端末２０に対する認証処理を行ってもよい（ステップＳ１４）。具体的には、認証部１１５は、例えば、図４に示したように、携帯端末２０に入力されるユーザ操作によりパスワードが入力された場合、入力されたパスワードとあらかじめ登録されているパスワードとが一致するか否かにより認証の成否を決めてもよい。認証が成功した場合にはステップＳ１５に移行されるが、認証が失敗した場合にはステップＳ１５に移行されずに再度認証処理が行われてもよい。
　ステップＳ１５に移行された場合、例えば、ネットワークサービスへのログインを完了させ（ステップＳ１５）、表示制御部１６０は、携帯端末２０により撮像画像および付加情報が表示されるように携帯端末２０を制御する。表示制御部１６０の制御に従って、携帯端末２０には撮像画像および付加情報が表示される（ステップＳ１６）。付加情報は特に限定されないが、例えば、ユーザ自身や他のユーザが書き込んだメッセージであってもよい。
　図６は、ユーザ特定に成功した場合における携帯端末２０の表示例を示す図である。例えば、表示制御部１６０は、特定部１１４によりユーザが特定された場合、撮像画像および付加情報が表示されるように携帯端末２０を制御する。図６には、表示制御部１６０が、付加情報として他のユーザが書き込んだメッセージが表示されるように携帯端末２０を制御している例が示されている。
　なお、撮像装置側に顔を向けることを促す情報は、図５に示した例に限定されない。図７は、ユーザ特定に失敗した場合における携帯端末２０の表示例を示す図である。表示制御部１６０は、候補抽出部１１３により抽出されたユーザの候補の位置とあらかじめ設定された撮像装置３０の位置とに基づいて、ユーザの特定に必要なユーザの動作を示す情報が携帯端末２０に表示されるように携帯端末２０を制御してもよい。
　例えば、図７に示すように、表示制御部１６０は、ユーザの候補の位置を基準として、ユーザの候補の向いている方向への直線および撮像装置３０の存在する方向への直線が携帯端末２０に表示されるように携帯端末２０を制御してもよい。また、図７に示すように、表示制御部１６０は、ユーザの候補の向いている方向への直線から撮像装置３０の存在する方向への直線への回転方向を示す矢印が携帯端末２０に表示されるように携帯端末２０を制御してもよい。また、図７に示すように、表示制御部１６０は、ユーザから見た場合の回転方向を示すメッセージとして「Ｔｕｒｎ　Ｌｅｆｔ」というメッセージＭ２が携帯端末２０に表示されるように携帯端末２０を制御してもよい。
　また、特定部１１４によりユーザが特定されない場合、ユーザを特定する手法が切り換えられてもよい。図８は、ユーザ特定に失敗した場合における携帯端末２０の表示例を示す図である。表示制御部１６０は、特定部１１４によりユーザが特定されない場合、他の特定手法によりユーザを特定する旨を示す情報が携帯端末２０に表示されるように制御してもよい。例えば、表示制御部１６０は、他の特定手法によりユーザを特定する旨を示す情報として「ユーザを特定する手法を切り換えます」というメッセージＭ３が携帯端末２０に表示されるように携帯端末２０を制御してもよい。特定部１１４は、他の特定手法により抽出される被写体をユーザとして特定すればよい。
　例えば、特定部１１４は、撮像画像に映る被写体の顔領域とユーザの顔画像との照合に基づいて抽出される被写体をユーザとして特定するように試みたとする。この場合に、ユーザが特定されなかった場合には、特定部１１４は、撮像画像から検出される被写体の動きとセンサデータとの照合に基づいて抽出される被写体をユーザとして特定するように試みてもよい。また、逆の順序でユーザ特定が試みられてもよい。
　また、特定部１１４によりユーザが特定されない場合、撮像画像に映る他の被写体とユーザとの動きの違いが明確になるようにユーザを促してもよい。このように促すことにより、特定部１１４は、規定されている正常な範囲を逸脱した動きの被写体が撮像画像から検出された場合に、その被写体をユーザと特定することができる。
　図９は、ユーザ特定に失敗した場合における携帯端末２０の表示例を示す図である。例えば、表示制御部１６０は、特定部１１４によりユーザが特定されない場合、携帯端末２０を動かすことを促す情報がユーザの特定に必要なユーザの動作を示す情報として携帯端末２０に表示されるように携帯端末２０を制御してもよい。例えば、図９に示したように、表示制御部１６０は、携帯端末２０を動かすことを促す情報として「携帯端末を動かして下さい」というメッセージＭ４が携帯端末２０に表示されるように携帯端末２０を制御してもよい。
　以上に説明したように、情報処理装置１０が有するユーザ特定機能によれば、携帯端末のユーザに関するパラメータに基づいて撮像画像からユーザを特定することが試みられ、表示制御部１６０は、ユーザが特定されない場合、ユーザの特定に必要なユーザの動作を示す情報が携帯端末２０に表示されるように制御される。このような制御により、撮像画像からユーザが容易に特定されることが期待される。
　＜２．構図判定機能＞
　続いて、情報処理装置１０が有する構図判定機能について説明する。図１０は、情報処理装置１０が有する構図判定機能の概要を示す図である。上記したように、撮像装置３０により撮像画像が撮像されると、撮像画像がユーザの携帯端末２０に表示される。ユーザは携帯端末２０に表示された撮像画像を閲覧することが可能である。ここでは、ユーザが撮像画像を閲覧しながら目的地に向かう場面を想定し、このようなユーザが閲覧する撮像画像として好ましい構図の判定について説明する。
　まず、ユーザの目的地を示す情報が設定される。ユーザの目的地を示す情報は、携帯端末２０に入力されるユーザ操作により入力されてもよいし、携帯端末２０により実行されるアプリケーションにより設定されてもよい。ユーザの目的地を示す情報は、例えば、実空間における位置で表現される。ユーザの目的地を示す情報は、情報処理装置１０により取得される。構図判定部１２５は、画像取得部１１１により取得された撮像画像をもとにしたユーザの認識結果とユーザの目的地を示す情報とに基づいて構図を判定する。構図は、画像における物体の理想的な位置（あるいは物体の理想的な向き）を示す図である。
　ユーザの認識結果は、ユーザの進行方向とユーザの実空間における位置とを少なくとも含んでいる。例えば、ユーザの認識結果は、認識部１２１により取得される。すなわち、認識部１２１は、撮像画像をもとにしてユーザを認識することにより認識結果を得る。図１０に示した例では、ユーザの実空間における位置がＰｕとして示され、ユーザの進行方向がＶ１として示され、ユーザの位置Ｐｕを基準としたユーザの目的地の方向がＶ２として示されている。
　例えば、構図判定部１２５は、認識結果としてユーザの位置が認識された場合、ユーザの位置を基準としたユーザの目的地の方向に基づいて構図を判定すればよい。例えば、図１０に示した例では、構図判定部１２５は、ユーザの位置Ｐｕを基準としたユーザの目的地の方向Ｖ２に基づいて構図を判定すればよい。構図判定部１２５は、例えば、Ｖ２に基づいて構図を判定する場合には、ユーザの位置Ｐｕを基準としてＶ２と逆方向の領域よりもユーザの位置Ｐｕを基準としてＶ２の方向の領域が広く収まるような画像を構図として判定すればよい。図１０には、このようにして判定される構図の例がＫ２として示されている。点Ｃ２は、構図Ｋ２の中央の点を示している。
　また、構図判定部１２５は、例えば、認識結果としてユーザの進行方向が認識された場合、ユーザの進行方向に基づいて構図を判定すればよい。例えば、図１０に示した例では、構図判定部１２５は、ユーザの進行方向Ｖ１に基づいて構図を判定すればよい。構図判定部１２５は、例えば、Ｖ１に基づいて構図を判定する場合には、ユーザの位置Ｐｕを基準としてＶ１と逆方向の領域よりもユーザの位置Ｐｕを基準としてＶ１の方向の領域が広く収まるような画像を構図として判定すればよい。図１０には、このようにして判定される構図の例がＫ１として示されている。点Ｃ１は、構図Ｋ１の中央の点を示している。
　構図判定部１２５は、画一的にユーザの進行方向Ｖ１に基づいて構図を判定してもよいし、画一的にユーザの位置Ｐｕを基準としたユーザの目的地の方向Ｖ２に基づいて構図を判定してもよいが、各々の判定手法のいずれかの手法を選択的に用いてもよい。すなわち、ユーザの進行方向Ｖ１に基づいて構図を判定するモードを第１のモードとし、ユーザの位置Ｐｕを基準としたユーザの目的地の方向Ｖ２に基づいて構図を判定するモードを第２のモードとした場合、モード設定部１２４は、この２つのモードのいずれかを設定してもよい。その場合、構図判定部１２５は、モード設定部１２４により設定されたモードに従って構図を判定してもよい。モードは、携帯端末２０に入力されるユーザ操作に基づいて設定されてもよいし、携帯端末２０により実行されるアプリケーションにより設定されてもよい。
　画像決定部１２６は、構図判定部１２５により判定された構図に基づいて表示画像を決定する。画像決定部１２６は、例えば、構図判定部１２５により判定された構図に合致する画像を表示画像として決定してもよいし、選択可能な範囲内において構図判定部１２５により判定された構図に最も近い画像を表示画像として決定してもよい。表示制御部１６０は、画像決定部１２６により決定された表示画像が携帯端末２０に表示されるように携帯端末２０を制御する。
　図１１は、第１のモード設定時における表示画像について説明するための図である。例えば、図１０に示したような撮像画像Ｉｍｇが取得され、モード設定部１２４により第１のモードが設定されている場合、ユーザの進行方向Ｖ１に基づいて構図Ｋ１が判定される。この場合、図１１に示すように、例えば、画像決定部１２６は、この構図Ｋ１に合致する画像を表示画像Ｄ１として決定してもよい。なお、構図判定部１２５は、ユーザが中央に存在する構図を判定してもよいが、図１１に示すように、ユーザが中央から所定距離ｄ１だけ離れた位置に存在する構図を判定してもよい。
　なお、現在の撮像条件が判定されてもよい。すなわち、条件判定部１２２は、ユーザを撮像するための条件が整っているか否かを判定し、情報付加部１２３は、条件判定部１２２により条件が整っていないと判定された場合には、表示画像に対して条件が整っていない旨を示す情報を付加してもよい。例えば、条件判定部１２２により撮像可能領域が判定された場合には、情報付加部１２３は、撮像可能領域の限界を示すオブジェクトを表示画像に付加してもよい。
　また、条件判定部１２２によりユーザの位置Ｐｕを基準としたユーザの進行方向Ｖ１に撮像可能領域の限界が判定された場合に、情報付加部１２３は、撮像可能領域の限界を示すオブジェクトを表示画像に付加してもよい。図１１には、ユーザの位置Ｐｕを基準としたユーザの進行方向Ｖ１に撮像可能領域の限界が判定されたため、撮像可能領域の限界を示すオブジェクトがＡ１として表示画像Ｄ１に付加されている。あるいは、条件判定部１２２によりユーザの位置Ｐｕと撮像可能領域の限界との距離が閾値よりも小さくなった場合に、情報付加部１２３は、撮像可能領域の限界を示すオブジェクトを表示画像に付加してもよい。
　また、条件判定部１２２により撮像画像の輝度が閾値よりも小さくなった場合に、情報付加部１２３は、撮像条件の悪化を示すオブジェクトを表示画像に付加してもよい。このような処理により、進行方向を変更するようにユーザを促すことができるが、ユーザに提供される情報は、付加されるオブジェクトに限定されない。例えば、情報付加部１２３は、携帯端末２０が振動するように制御してもよいし、携帯端末２０からアラーム音が発せられるように制御してもよい。
　図１２は、第２のモード設定時における表示画像について説明するための図である。例えば、図１０に示したような撮像画像Ｉｍｇが取得され、モード設定部１２４により第２のモードが設定されている場合、ユーザの位置Ｐｕを基準としたユーザの目的地の方向Ｖ２に基づいて構図Ｋ２が判定される。この場合、図１２に示すように、例えば、画像決定部１２６は、この構図Ｋ２に合致する画像を表示画像Ｄ２として決定してもよい。なお、構図判定部１２５は、ユーザが中央に存在する構図を判定してもよいが、図１２に示すように、ユーザが中央から所定距離ｄ２だけ離れた位置に存在する構図を判定してもよい。
　以上においては、画像決定部１２６が、構図判定部１２５により判定された構図に基づいて、撮像装置３０により撮像された撮像画像の一部領域を切り出すことにより表示画像を決定する手法を用いることにした。撮像装置３０が固定カメラ１台であれば、このような手法しか採りえないが、撮像装置３０が、向き変更カメラである場合や、画角変更カメラである場合、撮像装置３０が複数台ある場合には、他の手法を採用することもできる。
　ここで、固定カメラとは、撮像方向の変更や画角の変更が不可能なカメラを意味している。向き変更カメラは、可動カメラを意味しており、パン機能を有しているカメラでもよいし、チルト機能を有しているカメラでもよい。画角変更カメラは、画角を変更することが可能なカメラを意味している。図１３は、表示画像の決定手法のバリエーションについて説明するための図である。図１３に示すように、撮像装置３０が固定カメラである場合には、画像決定部１２６は、撮像画像から選択される領域を表示画像として決定するという手法を採る。
　また、図１３に示すように、撮像装置３０が向き変更カメラである場合には、画像決定部１２６は、撮像画像を提供する撮像装置３０の撮像方向を決定し、決定した撮像方向により撮像される撮像画像を表示画像として決定する。例えば、画像決定部１２６は、構図判定部１２５により判定された構図に基づいて、撮像装置３０の撮像方向を決定する。より詳細には、画像決定部１２６は、構図判定部１２５により判定された構図に最も近い画像を撮像できる方向を、撮像装置３０の撮像方向として決定すればよい。
　また、図１３に示すように、撮像装置３０が画角変更カメラである場合には、画像決定部１２６は、撮像画像を提供する撮像装置３０の画角を決定し、決定した画角により撮像される撮像画像を表示画像として決定する。例えば、画像決定部１２６は、構図判定部１２５により判定された構図に基づいて、撮像装置３０の画角を決定する。より詳細には、画像決定部１２６は、構図判定部１２５により判定された構図に最も近い画像を撮像できる画角を、撮像装置３０の画角として決定すればよい。
　また、図１３に示すように、画像取得部１１１により複数の撮像装置３０の各々から提供される撮像画像が取得された場合、画像決定部１２６は、複数の撮像装置３０の各々から提供される撮像画像の中から選択される撮像画像を表示画像として決定する。例えば、画像決定部１２６は、構図判定部１２５により判定された構図に基づいて、複数の撮像装置３０の各々から提供される撮像画像の中から選択される撮像画像を表示画像として決定する。より詳細には、画像決定部１２６は、構図判定部１２５により判定された構図に最も近い撮像画像を、複数の撮像装置３０の各々から提供される撮像画像の中から選択し、選択した撮像画像を表示画像として決定すればよい。
　なお、上記した例では、構図判定部１２５により判定された構図に最も近い画像を表示画像として用いることにしたが、構図との差分が閾値を超えてしまう画像しか取得されない場合には、表示画像が決定されないようにすることもできる。このような場合には、画像決定部１２６は、構図判定部１２５により判定された構図に基づいて表示画像を決定できない場合も想定される。したがって、かかる場合、画像決定部１２６は、構図以外の検出データに基づいて表示画像を決定してもよい。
　検出データは特に限定されない。例えば、画像決定部１２６は、上記したようなセンサデータに基づいて特定部１１４により特定されたユーザの位置に最も近い位置を撮像した画像を表示画像として決定することもできる。また、画像決定部１２６は、映っている人物の数が最も少ない画像を表示画像として決定してもよいし、映っている人物の密度が最も小さい画像を表示画像として決定してもよい。さらに、画像決定部１２６は、最も広い範囲が撮像された画像を表示画像として決定してもよいし、最もよく利用される撮像画像を表示画像として決定してもよい。
　また、撮像装置３０が存在しない場合などには、画像取得部１１１により撮像画像が取得されない場合も想定される。かかる場合、画像決定部１２６は、撮像画像以外のデータに基づいて検出されるユーザの位置とユーザの目的地を示す情報とに応じた画像を表示画像として決定してもよい。
　例えば、ＧＰＳ信号の受信センサにより受信された信号に基づいてユーザの位置情報が取得された場合には、画像決定部１２６は、その位置情報とユーザの目的地を示す情報とを用いて、Ｗｅｂページなどから画像を検索してもよい。画像は、描画された地図であってもよいし、撮像された写真であってもよい。また、画像決定部１２６は、検索により複数の画像を取得した場合には、複数の画像を合成することにより生成される新たな画像を表示画像として決定してもよい。
　図１４は、決定された表示画像の一例を示す図である。図１４に示すように、表示制御部１６０は、表示画像Ｄ２に、ユーザの位置Ｐｕを基準としたユーザの目的地までの距離を示すオブジェクトＯｂｊ１、目的地までの距離および目的地に到着する予定時刻を示すオブジェクトＯｂｊ２などを付加してもよい。
　また、図１４に示すように、表示制御部１６０は、表示画像Ｄ２に、方角を示すオブジェクトＯｂｊ３、ユーザの位置Ｐｕを基準としたユーザの目的地の方向を示すオブジェクトＯｂｊ４などを付加してもよい。また、図１４に示すように、表示制御部１６０は、表示画像Ｄ２に、ユーザの位置Ｐｕを基準としたユーザの目的地の方向を示すオブジェクトＯｂｊ５をユーザの位置Ｐｕに付加してもよいし、ユーザの位置Ｐｕを示すオブジェクトＯｂｊ６をユーザの位置に付加してもよい。
　続いて、情報処理装置１０による構図判定動作の流れについて説明する。図１５は、情報処理装置１０による構図判定動作の流れを示すフローチャートである。図１５に示すように、画像取得部１１１により撮像画像が取得されない場合には（ステップＳ２１で「Ｎｏ」）、認識部１２１は、撮像画像以外のデータからユーザを認識して（ステップＳ２２）、ステップＳ２６に動作が移行される。
　一方、画像取得部１１１により撮像画像が取得された場合には（ステップＳ２１で「Ｙｅｓ」）、認識部１２１は、撮像画像からユーザを認識して（ステップＳ２３）、条件判定部１２２は、撮像するための条件が整っているか否かを判定する（ステップＳ２４）。条件判定部１２２により撮像するための条件が整っていると判定された場合には（ステップＳ２４で「Ｙｅｓ」）、ステップＳ２６に動作が移行される。一方、条件判定部１２２により撮像するための条件が整っていないと判定された場合には（ステップＳ２４で「Ｎｏ」）、情報付加部１２３は、条件が整っていない旨を示す情報を撮像画像に付加し（ステップＳ２５）、ステップＳ２６に動作が移行される。
　ステップＳ２６に動作が移行された場合、モード設定部１２４は、第１のモードおよび第２のモードのいずれかを設定し（ステップＳ２６）、構図判定部１２５は、認識部１２１による認識結果に基づいて、モード設定部１２４により設定されたモードに従って、構図を判定する（ステップＳ２７）。続いて、画像決定部１２６は、構図判定部１２５により判定された構図に基づいて表示画像を決定することを試みる（ステップＳ２８）。
　ここで、画像決定部１２６により表示画像が決定された場合には（ステップＳ２９で「Ｙｅｓ」）、ステップＳ３１に動作が移行される。一方、画像決定部１２６により表示画像が決定されない場合には（ステップＳ２９で「Ｎｏ」）、画像決定部１２６は、構図以外の検出データに基づいて表示画像を決定し（ステップＳ３０）、ステップＳ３１に動作が移行される。表示制御部１６０は、画像決定部１２６により決定された表示画像が携帯端末２０に表示されるように携帯端末２０を制御し（ステップＳ３１）、動作が終了される。
　以上に説明したように、情報処理装置１０が有する構図判定機能によれば、撮像画像をもとにしたユーザの認識結果とユーザの目的地を示す情報とに基づいた構図が判定される。また、このように判定された構図に基づいて表示画像が決定される。このような制御により、ユーザにとってより利便性が高い表示画像が決定されることが期待される。
　＜３．表現変更機能＞
　続いて、情報処理装置１０が有する表現変更機能について説明する。上記したように、情報処理装置１０により何らかのネットワークサービスが提供されており、ユーザＵが携帯端末２０を介してネットワークサービスにログインすると、携帯端末２０に対してネットワークサービスが提供されていることを想定している。
　ネットワークサービスへのログインは、ユーザＵに限らず、他のユーザも行うことができる。すなわち、撮像画像に映る人物（以下では、「被写体」とも言う。）は、ネットワークサービスを享受する可能性がある。そこで、以下では、撮像画像に映っている被写体のネットワークサービスにおける状態の変更を容易に把握する機能について説明する。なお、撮像画像に映る被写体は、ユーザが特定される手法と同様の手法により、認識部１２１により認識され得る。
　変更検出部１３１は、画像取得部１１１により取得された撮像画像から認識された被写体のネットワークサービスにおける状態の変更を検出する。ネットワークサービスにおける状態は、特に限定されないが、例えば、被写体の携帯端末がネットワークサービスにログインしているか否かを示す情報であってもよい。すなわち、表現変更部１３２は、被写体の携帯端末がネットワークサービスにログインした旨が変更検出部１３１により検出された場合に、撮像画像に映っている被写体の表現を変更してもよい。
　また、ネットワークサービスにおける状態は、ログインされている状態で特定の処理が行ったか否かを示す情報であってもよい。すなわち、表現変更部１３２は、被写体の携帯端末のネットワークサービスにおける動作が所定の条件を満たした旨が変更検出部１３１により検出された場合に、撮像画像に映っている被写体の表現を変更してもよい。所定の条件は、特に限定されないが、例えば、メッセージの書き込みを行ったという条件であってもよく、所定時間以内にメッセージの書き込みを行ったという条件であってもよい。
　表現変更部１３２は、変更検出部１３１により状態の変更が検出された場合に、撮像画像に映っている被写体の表現を変更する。表現変更部１３２により撮像画像に映っている被写体の領域はどのように把握されてもよいが、例えば、被写体が映る前後の撮像画像において差分が生じた場合に、その差分領域が被写体の領域として把握されてもよい。被写体の表現をどのように変更するかについても特に限定されない。
　さらに、表現変更部１３２は、特定部１１４によりユーザが特定された場合には、撮像画像に映っているユーザを強調することによりユーザの表現を変更してもよい。ユーザをどのように強調するかについても特に限定されない。表示制御部１６０は、表現変更部１３２により表現が変更されて得られる表示画像が携帯端末２０に表示されるように携帯端末２０を制御する。
　ユーザの強調の手法について以下に図面を参照しながら説明する。図１６は、情報処理装置１０による表現変更機能の一例を示す図である。図１６に示すように、表現変更部１３２は、撮像画像におけるユーザＵ以外の被写体の鮮明度を低下させることによりユーザＵを強調してもよい。
　図１７は、情報処理装置１０による表現変更機能の一例を示す図である。図１７に示すように、表現変更部１３２は、撮像画像におけるユーザＵの輪郭Ｌ１を強調することによりユーザＵを強調してもよい。例えば、撮像画像におけるユーザＵの輪郭Ｌ１を太くすることによりユーザＵの強調がなされてもよい。
　図１８は、情報処理装置１０による表現変更機能の一例を示す図である。図１８に示すように、表現変更部１３２は、撮像画像におけるユーザＵ以外の被写体の画素値を変更することによりユーザＵを強調してもよい。例えば、撮像画像におけるユーザＵ以外の被写体の輝度を低下させることによりユーザＵを強調してもよい。
　図１９は、情報処理装置１０による表現変更機能の一例を示す図である。図１９に示すように、表現変更部１３２は、撮像画像におけるユーザＵに対するズームイン表示によりユーザＵを強調してもよい。また、図１９に示すように、表現変更部１３２は、ズームイン表示を行った後、ユーザＵに対するズームアウト表示を行ってもよい。
　図２０は、情報処理装置１０による表現変更機能の一例を示す図である。表現変更部１３２は、撮像画像におけるユーザの位置またはユーザの周辺の位置にオブジェクトを表示することによりユーザを強調してもよい。ユーザの周辺の範囲は、あらかじめ規定されていてもよい。図２０に示した例では、表現変更部１３２は、撮像画像におけるユーザの周辺の位置にオブジェクトＯｂｊ８，Ｏｂｊ９を付加することによりユーザＵを強調している。
　また、ユーザＵの強調度合いは、一定であってもよいし、状況に応じて変化されてもよい。例えば、表現変更部１３２は、撮像画像におけるユーザのサイズに応じてユーザの強調度合いを変化させてもよい。図２１は、情報処理装置１０による表現変更機能の一例を示す図である。例えば、表現変更部１３２は、撮像画像におけるユーザのサイズが小さいほどユーザの強調度合いを強めてもよい。
　図２１に示した例では、撮像装置３０からユーザＵの位置が遠いほど、撮像画像におけるユーザＵのサイズが小さくなっている。そのため、表現変更部１３２は、サイズの小さいユーザＵの輪郭Ｌ０を、サイズの大きいユーザＵの輪郭Ｌ１よりも太くすることにより、サイズの小さいユーザＵの強調度合いを強めている。このように、撮像画像におけるユーザのサイズが小さいほどユーザの強調度合いが強められることにより、撮像画像においてユーザを見つけやすくなる。
　また、撮像画像においてユーザＵが他の物体に隠れてしまう場合もある。そこで、例えば、表現変更部１３２は、撮像画像においてユーザの一部または全部が他の物体により隠れて映っている場合に、ユーザの強調の手法を変化させてもよい。図２２は、情報処理装置１０による表現変更機能の一例を示す図である。図２２に示すように、撮像画像においてユーザＵの一部が他の被写体に隠れてしまっている。そこで、表現変更部１３２は、撮像画像におけるユーザＵの周辺の位置にオブジェクトＯｂｊ１０を付加することにより、ユーザＵの強調の手法を変化させている。ユーザＵの周辺の範囲は、あらかじめ規定されていてもよい。
　続いて、情報処理装置１０による表現変更動作の流れについて説明する。図２３は、情報処理装置１０による表現変更動作の流れを示すフローチャートである。図２３に示すように、画像取得部１１１により撮像画像が取得されない場合には（ステップＳ４１で「Ｎｏ」）、動作が終了される。一方、画像取得部１１１により撮像画像が取得された場合には（ステップＳ４１で「Ｙｅｓ」）、認識部１２１により撮像画像から被写体が認識される（ステップＳ４２）。続いて、変更検出部１３１は、被写体のネットワークサービスにおける状態の変更を検出したか否かを判定する（ステップＳ４３）。
　変更検出部１３１により被写体のネットワークサービスにおける状態の変更が検出されない場合には（ステップＳ４３で「Ｎｏ」）、動作が終了されるが、変更検出部１３１により被写体のネットワークサービスにおける状態の変更が検出された場合には（ステップＳ４３で「Ｙｅｓ」）、表現変更部１３２は、被写体の表現を変更する（ステップＳ４４）。表示制御部１６０は、表現変更部１３２により表現が変更されて得られる表示画像の表示を制御し（ステップＳ４５）、動作が終了される。
　以上に説明したように、情報処理装置１０が有する表現変更機能によれば、撮像画像から認識された被写体のネットワークサービスにおける状態の変更が検出される。また、状態の変更が検出された場合に、撮像画像に映っている被写体の表現が変更される。このような制御によれば、撮像画像に映っている被写体のネットワークサービスにおける状態の変更が容易に把握されることが期待される。
　＜４．むすび＞
　以上説明したように、本実施形態に係る情報処理装置１０のユーザ特定機能によれば、撮像画像を取得する画像取得部１１１と、携帯端末２０のユーザに関するパラメータを取得するパラメータ取得部１１２と、パラメータに基づいて撮像画像からユーザを特定する特定部１１４と、特定部１１４によりユーザが特定されない場合、ユーザの特定に必要なユーザの動作を示す情報が携帯端末２０に表示されるように制御する表示制御部１６０と、を備える、情報処理装置１０が提供される。
　かかる構成によれば、特定部１１４によりユーザが特定されない場合、ユーザの特定に必要なユーザの動作を示す情報が携帯端末２０により表示され、この情報を閲覧したユーザは、撮像画像からユーザが特定されるように動作することが可能となる。したがって、撮像画像からユーザが容易に特定されることが期待される。
　また、本実施形態に係る情報処理装置１０の構図判定機能によれば、撮像画像を取得する画像取得部１１１と、撮像画像をもとにしたユーザの認識結果とユーザの目的地を示す情報とに基づいて構図を判定する構図判定部１２５と、構図判定部１２５により判定された構図に基づいて表示画像を決定する画像決定部１２６と、を備える、情報処理装置１０が提供される。
　かかる構成によれば、撮像画像をもとにしたユーザの認識結果とユーザの目的地を示す情報とに基づいて構図が判定され、この構図に基づいて表示画像が決定される。例えば、構図判定部１２５により、ユーザの位置を示す情報と目的地を示す情報とに基づいて構図が判定される。したがって、ユーザにとってより利便性が高い表示画像が決定されることが期待される。
　また、本実施形態に係る情報処理装置１０の表現変更機能によれば、撮像画像を取得する画像取得部１１１と、撮像画像から認識された被写体のネットワークサービスにおける状態の変更を検出する変更検出部１３１と、変更検出部１３１により状態の変更が検出された場合に、撮像画像に映っている被写体の表現を変更する表現変更部１３２と、を備える、情報処理装置１０が提供される。
　かかる構成によれば、被写体のネットワークサービスにおける状態の変更が検出された場合に、撮像画像に映っている被写体の表現が変更される。この撮像画像を閲覧したユーザは、撮像画像から被写体のネットワークサービスにおける状態の変更を容易に把握することが可能となる。
　なお、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、例えば、上記では、処理制御部１００および表示制御部１６０のすべてを情報処理装置１０が有する例を主に説明したが、かかるブロックの一部または全部は、情報処理装置１０の代わりに他の装置が有していてもよい。例えば、処理制御部１００および表示制御部１６０の一部をサーバが有し、その他の部分を携帯端末２０が有してもよい。このように、本開示の技術は、クラウドコンピューティングにも適用することが可能である。
　また、本明細書の情報処理装置１０の動作における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、情報処理装置１０の動作における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
　また、情報処理装置１０に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上述した情報処理装置１０の構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　撮像画像を取得する画像取得部と、
　前記撮像画像から認識された被写体のネットワークサービスにおける状態の変更を検出する変更検出部と、
　前記変更検出部により前記状態の変更が検出された場合に、前記撮像画像に映っている前記被写体の表現を変更する表現変更部と、
　を備える、情報処理装置。
（２）
　前記情報処理装置は、
　前記撮像画像から携帯端末のユーザを特定する特定部をさらに備え、
　前記表現変更部は、
　前記撮像画像に映っている前記ユーザを強調することにより前記ユーザの表現を変更する、
　前記（１）に記載の情報処理装置。
（３）
　前記情報処理装置は、
　前記表現変更部により表現が変更されて得られる表示画像が前記携帯端末に表示されるように制御する表示制御部、
　をさらに備える、前記（２）に記載の情報処理装置。
（４）
　前記表現変更部は、前記被写体の携帯端末が前記ネットワークサービスにログインした旨が前記変更検出部により検出された場合に、前記撮像画像に映っている前記被写体の表現を変更する、
　前記（１）～（３）のいずれか一項に記載の情報処理装置。
（５）
　前記表現変更部は、前記被写体の携帯端末の前記ネットワークサービスにおける動作が所定の条件を満たした旨が前記変更検出部により検出された場合に、前記撮像画像に映っている前記被写体の表現を変更する、
　前記（１）～（３）のいずれか一項に記載の情報処理装置。
（６）
　前記表現変更部は、前記撮像画像における前記ユーザのサイズに応じて前記ユーザの強調度合いを変化させる、
　前記（２）または（３）に記載の情報処理装置。
（７）
　前記表現変更部は、前記撮像画像における前記ユーザのサイズが小さいほど前記ユーザの強調度合いを強める、
　前記（６）に記載の情報処理装置。
（８）
　前記表現変更部は、前記撮像画像において前記ユーザの一部または全部が他の物体により隠れて映っている場合に、前記ユーザの強調の手法を変化させる、
　前記（２）または（３）に記載の情報処理装置。
（９）
　前記表現変更部は、前記撮像画像における前記ユーザ以外の被写体の鮮明度を低下させることにより前記ユーザを強調する、
　前記（２）または（３）に記載の情報処理装置。
（１０）
　前記表現変更部は、前記撮像画像における前記ユーザの輪郭を強調することにより前記ユーザを強調する、
　前記（２）または（３）に記載の情報処理装置。
（１１）
　前記表現変更部は、前記撮像画像における前記ユーザ以外の被写体の画素値を変更することにより前記ユーザを強調する、
　前記（２）または（３）に記載の情報処理装置。
（１２）
　前記表現変更部は、前記撮像画像における前記ユーザに対するズームイン表示により前記ユーザを強調する、
　前記（２）または（３）に記載の情報処理装置。
（１３）
　前記表現変更部は、前記撮像画像における前記ユーザの位置または前記ユーザの周辺の位置にオブジェクトを付加することにより前記ユーザを強調する、
　前記（２）または（３）に記載の情報処理装置。
（１４）
　撮像画像を取得することと、
　前記撮像画像から認識された被写体のネットワークサービスにおける状態の変更を検出することと、
　前記状態の変更が検出された場合に、前記撮像画像に映っている前記被写体の表現を変更することと、
　を含む、情報処理方法。
（１５）
　コンピュータを、
　撮像画像を取得する画像取得部と、
　前記撮像画像から認識された被写体のネットワークサービスにおける状態の変更を検出する変更検出部と、
　前記変更検出部により前記状態の変更が検出された場合に、前記撮像画像に映っている前記被写体の表現を変更する表現変更部と、
　を備える情報処理装置として機能させるためのプログラム。
　１　　　情報処理システム
　１０　　情報処理装置
　２０　　携帯端末
　３０　　撮像装置
　４０　　ネットワーク
　５０　　記憶部
　１００　処理制御部
　１１１　画像取得部
　１１２　パラメータ取得部
　１１３　候補抽出部
　１１４　特定部
　１１５　認証部
　１２１　認識部
　１２２　条件判定部
　１２３　情報付加部
　１２４　モード設定部
　１２５　構図判定部
　１２６　画像決定部
　１３１　変更検出部
　１３２　表現変更部
　１６０　表示制御部
 
 
 

Claims (15)

  1. 　撮像画像を取得する画像取得部と、
    　前記撮像画像から認識された被写体のネットワークサービスにおける状態の変更を検出する変更検出部と、
    　前記変更検出部により前記状態の変更が検出された場合に、前記撮像画像に映っている前記被写体の表現を変更する表現変更部と、
    　を備える、情報処理装置。
  2. 　前記情報処理装置は、
    　前記撮像画像から携帯端末のユーザを特定する特定部をさらに備え、
    　前記表現変更部は、
    　前記撮像画像に映っている前記ユーザを強調することにより前記ユーザの表現を変更する、
    　請求項１に記載の情報処理装置。
  3. 　前記情報処理装置は、
    　前記表現変更部により表現が変更されて得られる表示画像が前記携帯端末に表示されるように制御する表示制御部、
    　をさらに備える、請求項２に記載の情報処理装置。
  4. 　前記表現変更部は、前記被写体の携帯端末が前記ネットワークサービスにログインした旨が前記変更検出部により検出された場合に、前記撮像画像に映っている前記被写体の表現を変更する、
    　請求項１に記載の情報処理装置。
  5. 　前記表現変更部は、前記被写体の携帯端末の前記ネットワークサービスにおける動作が所定の条件を満たした旨が前記変更検出部により検出された場合に、前記撮像画像に映っている前記被写体の表現を変更する、
    　請求項１に記載の情報処理装置。
  6. 　前記表現変更部は、前記撮像画像における前記ユーザのサイズに応じて前記ユーザの強調度合いを変化させる、
    　請求項２に記載の情報処理装置。
  7. 　前記表現変更部は、前記撮像画像における前記ユーザのサイズが小さいほど前記ユーザの強調度合いを強める、
    　請求項６に記載の情報処理装置。
  8. 　前記表現変更部は、前記撮像画像において前記ユーザの一部または全部が他の物体により隠れて映っている場合に、前記ユーザの強調の手法を変化させる、
    　請求項２に記載の情報処理装置。
  9. 　前記表現変更部は、前記撮像画像における前記ユーザ以外の被写体の鮮明度を低下させることにより前記ユーザを強調する、
    　請求項２に記載の情報処理装置。
  10. 　前記表現変更部は、前記撮像画像における前記ユーザの輪郭を強調することにより前記ユーザを強調する、
    　請求項２に記載の情報処理装置。
  11. 　前記表現変更部は、前記撮像画像における前記ユーザ以外の被写体の画素値を変更することにより前記ユーザを強調する、
    　請求項２に記載の情報処理装置。
  12. 　前記表現変更部は、前記撮像画像における前記ユーザに対するズームイン表示により前記ユーザを強調する、
    　請求項２に記載の情報処理装置。
  13. 　前記表現変更部は、前記撮像画像における前記ユーザの位置または前記ユーザの周辺の位置にオブジェクトを付加することにより前記ユーザを強調する、
    　請求項２に記載の情報処理装置。
  14. 　撮像画像を取得することと、
    　前記撮像画像から認識された被写体のネットワークサービスにおける状態の変更を検出することと、
    　前記状態の変更が検出された場合に、前記撮像画像に映っている前記被写体の表現を変更することと、
    　を含む、情報処理方法。
  15. 　コンピュータを、
    　撮像画像を取得する画像取得部と、
    　前記撮像画像から認識された被写体のネットワークサービスにおける状態の変更を検出する変更検出部と、
    　前記変更検出部により前記状態の変更が検出された場合に、前記撮像画像に映っている前記被写体の表現を変更する表現変更部と、
    　を備える情報処理装置として機能させるためのプログラム。
     
     
PCT/JP2013/053204 2012-03-27 2013-02-12 情報処理装置、情報処理方法およびプログラム WO2013145900A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2014507500A JP6064995B2 (ja) 2012-03-27 2013-02-12 情報処理装置、情報処理方法およびプログラム
BR112014023249A BR112014023249A8 (pt) 2012-03-27 2013-02-12 Dispositivo e método de processamento de informação, e, programa
IN7843DEN2014 IN2014DN07843A (ja) 2012-03-27 2013-02-12
US14/386,434 US9836644B2 (en) 2012-03-27 2013-02-12 Changing a depiction in a captured image based on a state of a subject present in the captured image
CN201380015462.4A CN104205799A (zh) 2012-03-27 2013-02-12 信息处理装置、信息处理方法及程序
EP13770270.0A EP2833627A4 (en) 2012-03-27 2013-02-12 INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, AND PROGRAM

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-071333 2012-03-27
JP2012071333 2012-03-27

Publications (1)

Publication Number Publication Date
WO2013145900A1 true WO2013145900A1 (ja) 2013-10-03

Family

ID=49259183

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/053204 WO2013145900A1 (ja) 2012-03-27 2013-02-12 情報処理装置、情報処理方法およびプログラム

Country Status (7)

Country Link
US (1) US9836644B2 (ja)
EP (1) EP2833627A4 (ja)
JP (1) JP6064995B2 (ja)
CN (1) CN104205799A (ja)
BR (1) BR112014023249A8 (ja)
IN (1) IN2014DN07843A (ja)
WO (1) WO2013145900A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2950570A1 (en) * 2014-05-27 2015-12-02 Panasonic Intellectual Property Management Co., Ltd. Remote imaging method and remote imaging control device
JP2018097883A (ja) * 2018-01-09 2018-06-21 カシオ計算機株式会社 情報表示装置および誘導表示方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006174195A (ja) * 2004-12-17 2006-06-29 Hitachi Ltd 映像サービスシステム
JP2009003659A (ja) 2007-06-21 2009-01-08 Sony Corp 認証装置、入場管理装置、入退場管理装置、入場管理システム、入退場管理システム、これらの処理方法およびプログラム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7688306B2 (en) * 2000-10-02 2010-03-30 Apple Inc. Methods and apparatuses for operating a portable device based on an accelerometer
JP2002175538A (ja) * 2000-12-08 2002-06-21 Mitsubishi Electric Corp 似顔絵生成装置及び似顔絵生成方法及び似顔絵生成プログラムを記録した記録媒体及び通信用端末及び通信用端末による通信方法
US7487214B2 (en) * 2004-11-10 2009-02-03 Microsoft Corporation Integrated electronic mail and instant messaging application
US7633076B2 (en) * 2005-09-30 2009-12-15 Apple Inc. Automated response to and sensing of user activity in portable devices
JP4915420B2 (ja) * 2006-12-11 2012-04-11 株式会社ニコン 電子カメラ
DE102007033391A1 (de) * 2007-07-18 2009-01-22 Robert Bosch Gmbh Informationsvorrichtung, Verfahren zur Information und/oder Navigation von einer Person sowie Computerprogramm
US8086071B2 (en) * 2007-10-30 2011-12-27 Navteq North America, Llc System and method for revealing occluded objects in an image dataset
KR101446772B1 (ko) * 2008-02-04 2014-10-01 삼성전자주식회사 디지털 영상 처리 장치 및 그 제어 방법
US7952596B2 (en) * 2008-02-11 2011-05-31 Sony Ericsson Mobile Communications Ab Electronic devices that pan/zoom displayed sub-area within video frames in response to movement therein
KR101016556B1 (ko) * 2010-05-06 2011-02-24 전성일 증강 현실을 이용하여 인물의 정보에 접근하기 위한 방법, 서버 및 컴퓨터 판독 가능한 기록 매체
KR101687613B1 (ko) * 2010-06-21 2016-12-20 엘지전자 주식회사 이동 단말기 및 이것의 그룹 생성 방법
US8326001B2 (en) * 2010-06-29 2012-12-04 Apple Inc. Low threshold face recognition
KR101347518B1 (ko) * 2010-08-12 2014-01-07 주식회사 팬택 필터의 선택이 가능한 증강 현실 사용자 장치 및 방법, 그리고, 증강 현실 서버
JP2012058838A (ja) * 2010-09-06 2012-03-22 Sony Corp 画像処理装置、プログラム及び画像処理方法
US8315674B2 (en) * 2010-10-08 2012-11-20 Research In Motion Limited System and method for displaying object location in augmented reality
US8994499B2 (en) * 2011-03-16 2015-03-31 Apple Inc. Locking and unlocking a mobile device using facial recognition
US9111130B2 (en) * 2011-07-08 2015-08-18 Microsoft Technology Licensing, Llc Facilitating face detection with user input
US8560004B1 (en) * 2012-08-31 2013-10-15 Google Inc. Sensor-based activation of an input device
US9408076B2 (en) * 2014-05-14 2016-08-02 The Regents Of The University Of California Sensor-assisted biometric authentication for smartphones

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006174195A (ja) * 2004-12-17 2006-06-29 Hitachi Ltd 映像サービスシステム
JP2009003659A (ja) 2007-06-21 2009-01-08 Sony Corp 認証装置、入場管理装置、入退場管理装置、入場管理システム、入退場管理システム、これらの処理方法およびプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
See also references of EP2833627A4
YUSUKE YAMADA: "''2009 Nen wa 'Mobile AR Gannen Datta '''", 30 December 2009 (2009-12-30), XP008174432, Retrieved from the Internet <URL:http://www.itmedia.co.jp/mobile/articles/0912/30/news001.html> [retrieved on 20130423] *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2950570A1 (en) * 2014-05-27 2015-12-02 Panasonic Intellectual Property Management Co., Ltd. Remote imaging method and remote imaging control device
US9565351B2 (en) 2014-05-27 2017-02-07 Panasonic Intellectual Property Management Co., Ltd. Remote imaging method and remote imaging control device
JP2018097883A (ja) * 2018-01-09 2018-06-21 カシオ計算機株式会社 情報表示装置および誘導表示方法

Also Published As

Publication number Publication date
JP6064995B2 (ja) 2017-01-25
JPWO2013145900A1 (ja) 2015-12-10
US20150049909A1 (en) 2015-02-19
IN2014DN07843A (ja) 2015-04-24
US9836644B2 (en) 2017-12-05
EP2833627A1 (en) 2015-02-04
CN104205799A (zh) 2014-12-10
BR112014023249A2 (ja) 2017-06-20
EP2833627A4 (en) 2015-11-11
BR112014023249A8 (pt) 2017-07-25

Similar Documents

Publication Publication Date Title
KR102465532B1 (ko) 객체 인식 방법 및 장치
KR20220144890A (ko) 다중 사용자 환경에서 손 제스처를 사용하여 디바이스를 제어하기 위한 방법 및 시스템
US10007841B2 (en) Human face recognition method, apparatus and terminal
US9898090B2 (en) Apparatus, method and recording medium for controlling user interface using input image
US11222231B2 (en) Target matching method and apparatus, electronic device, and storage medium
CN109743504B (zh) 一种辅助拍照方法、移动终端和存储介质
CN105956518A (zh) 一种人脸识别方法、装置和系统
JP5662670B2 (ja) 画像処理装置、画像処理方法、及びプログラム
KR102454515B1 (ko) 네트워크 최적화 방법 및 장치, 이미지 처리 방법 및 장치, 및 기억 매체
CN107766403B (zh) 一种相册处理方法、移动终端以及计算机可读存储介质
WO2019011098A1 (zh) 解锁控制方法及相关产品
JP6044633B2 (ja) 情報処理装置、情報処理方法およびプログラム
US10713480B2 (en) Information processing device and information processing method
KR20190128536A (ko) 전자 장치 및 그 제어 방법
CN110519503A (zh) 一种扫描图像的获取方法及移动终端
CN107911563B (zh) 一种图像处理方法及移动终端
JP6064995B2 (ja) 情報処理装置、情報処理方法およびプログラム
CN115761867A (zh) 基于人脸图像的身份检测方法、装置、介质及设备
CN111145083B (zh) 一种图像处理方法、电子设备及计算机可读存储介质
KR20080034248A (ko) 휴대 단말기에서 얼굴인식을 통한 사진 검색 방법
JP2016021716A (ja) 追尾装置及びその制御方法
KR20110099845A (ko) 화상 통화 시스템에서 전방향 화자 인식을 위한 장치 및 방법
JP2001331804A (ja) 画像領域検出装置及び方法
CN118212598A (zh) 一种针对车辆的车型识别结果生成方法和装置
CN115631496A (zh) 标签预测方法、文本预测模型的训练方法、装置及设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13770270

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014507500

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2013770270

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 14386434

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112014023249

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 112014023249

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20140919