WO2018087971A1 - 移動体制御装置および移動体制御プログラム - Google Patents

移動体制御装置および移動体制御プログラム Download PDF

Info

Publication number
WO2018087971A1
WO2018087971A1 PCT/JP2017/029022 JP2017029022W WO2018087971A1 WO 2018087971 A1 WO2018087971 A1 WO 2018087971A1 JP 2017029022 W JP2017029022 W JP 2017029022W WO 2018087971 A1 WO2018087971 A1 WO 2018087971A1
Authority
WO
WIPO (PCT)
Prior art keywords
scene
unit
mobile device
reaction
mobile
Prior art date
Application number
PCT/JP2017/029022
Other languages
English (en)
French (fr)
Inventor
田中　伸治
Original Assignee
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャープ株式会社 filed Critical シャープ株式会社
Priority to JP2018550031A priority Critical patent/JP6713057B2/ja
Priority to EP17869547.4A priority patent/EP3540591A4/en
Priority to US16/343,727 priority patent/US11119722B2/en
Priority to CN201780066445.1A priority patent/CN109906435A/zh
Publication of WO2018087971A1 publication Critical patent/WO2018087971A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00—Manipulators mounted on wheels or on carriages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training
    • G10L2015/0631—Creating reference templates; Clustering

Definitions

  • One embodiment of the present invention relates to a moving body control device and a moving body control program.
  • Patent Document 1 discloses a voice dialogue apparatus that asks a user for an answer when asked about what the user does not know, stores the contents of the question and the answer, and uses them for the next dialogue. Has been.
  • Japanese Patent Publication Japanese Patent Laid-Open No. 2004-109323 (published on April 8, 2004)
  • One aspect of the present invention has been made in view of the above problems, and a mobile body control device and a mobile body control program that can cause a mobile body device to perform operations more naturally even in scenes other than dialogue.
  • the main purpose is to provide
  • a mobile control device includes an image acquisition unit, an operation control unit, and one or more processors, and the image acquisition unit includes a specific movement.
  • the present invention it is possible to estimate a scene where a specific mobile device is arranged, and to cause the mobile device to perform an operation suitable for the scene where the mobile device is arranged.
  • Embodiment 1 Hereinafter, Embodiment 1 of the present invention will be described in detail.
  • FIG. 1 is a block diagram showing a main configuration of a mobile control device 1 according to the present embodiment.
  • the moving body control device 1 includes a control unit (processor) 2, an imaging unit 3, an audio output unit 4, an object DB 5 a, a scene DB (association information storage unit) 5 b, and an operation DB (second A correspondence information storage unit) 5c.
  • the control unit 2, the imaging unit 3, the audio output unit 4, the object DB 5a, the scene DB 5b, and the operation DB 5c may each be configured by a single piece of hardware, or may be configured in a distributed manner by a plurality of hardware. .
  • the control unit 2 includes, as functional blocks, an image acquisition unit 21, an object detection unit 22, an image recognition unit 23, a scene estimation unit 24, an utterance content determination unit (motion determination unit) 25, and an utterance control unit (motion control unit) 26.
  • the control unit 2 is one or a plurality of processors. As the control unit 2, one processor may execute processing of all functional blocks, or a plurality of processors may execute processing of each functional block separately.
  • the imaging unit 3 is, for example, one or more cameras, and images the surroundings of a specific mobile device.
  • the image acquisition unit 21 acquires a captured image around the specific mobile device via the imaging unit 3.
  • the image acquisition unit 21 may acquire a single captured image, or may acquire a plurality of captured images.
  • the imaging unit 3 includes a plurality of cameras that capture images in different directions, and the image acquisition unit 21 acquires the captured images from each camera.
  • the imaging unit 3 includes a camera that can move (including rotation), and the image acquisition unit 21 moves the camera or changes the orientation of the camera.
  • the captured image may be acquired. Thereby, the image acquisition part 21 and the captured image around the said specific mobile body apparatus can be acquired suitably.
  • the object detection unit 22 detects an object included in the captured image acquired by the image acquisition unit 21 (for example, a television, a sofa, a table, etc. when the mobile device is in the house) (scene estimation process). Part of). Specifically, the object detection unit 22 identifies an area in a captured image in which an object may be reflected, cuts out the area, and generates detected image data. The object detection unit 22 specifies a plurality of areas and generates a plurality of detection image data when the captured image includes a plurality of areas where the object may be reflected.
  • the image recognition unit 23 refers to the object DB 5a and identifies the name or ID of the object detected by the object detection unit 22 based on the detected image data generated by the object detection unit 22 (part of the scene estimation process). .
  • information used for identifying the name or ID of each object is stored in advance.
  • the object DB 5a stores in advance information for converting a parameter for detecting the feature amount of the detected image data and a plurality of feature amounts into the name or ID of each object.
  • the scene estimation unit 24 refers to the scene DB 5b and estimates the scene where the specific mobile device is arranged from the combination of the name or ID of the object identified by the image recognition unit 23 (scene estimation process).
  • the “scene where the mobile device is arranged” means the kind of place where the mobile device is arranged. For example, in a house, a room such as a living room, a bedroom, a kitchen, etc. It can be.
  • association information indicating association between each object and each scene is stored in advance. More specifically, for example, names or IDs of objects that are highly likely to exist in the scene are stored in advance in association with each scene.
  • the utterance content determination unit 25 determines the utterance content according to the scene estimated by the scene estimation unit 24 with reference to the operation DB 5c (operation determination process).
  • operation DB 5c information for defining an utterance candidate corresponding to each scene is stored in advance in association with each scene.
  • the audio output unit 4 is, for example, a speaker.
  • the utterance control unit 26 converts the utterance content determined by the utterance content determination unit 25 into a voice and outputs the voice from the voice output unit 4 (operation control process).
  • the utterance control unit 26 may synthesize speech using, for example, a known speech synthesis technique.
  • the method for transferring data (including images) between the functional blocks is not particularly limited.
  • the data may be transferred via a storage unit, or may be transferred via a communication interface. May be.
  • FIG. 2 is a block diagram illustrating an example of a hardware configuration of the mobile control device 1 according to the present embodiment.
  • the mobile control device 1 includes a server 8 and a terminal (mobile device) 9 as shown in FIG.
  • the server 8 includes a communication unit 7a, a storage unit 10a, and a control unit 11a.
  • the communication unit 7 a is a communication interface for communicating with the terminal 9.
  • a part or all of the DB is stored in the storage unit 10a.
  • the storage unit 10a is also used for data input / output between blocks.
  • the control unit 11a is an arithmetic device having a function of comprehensively controlling each component of the server 8.
  • the control unit 11a can execute processing of a part or all of the functional blocks of the control unit 2 in FIG.
  • the terminal 9 may be a mobile phone terminal such as a smartphone, a portable information terminal such as a tablet, a portable small robot, a self-propelled robot such as a robot cleaner, and the like. Any device that can move by being moved or moved by itself (mobile device) may be used.
  • the terminal 9 includes an imaging unit 3, an audio output unit 4, a communication unit 7b, a storage unit 10b, and a control unit 11b.
  • the communication unit 7 b is a communication interface for communicating with the server 8.
  • the storage unit 10b stores some or all of the DBs.
  • the storage unit 10b is also used for data input / output between blocks.
  • the control unit 11b is an arithmetic device having a function of comprehensively controlling each component of the terminal 9. The control unit 11b can execute processing of a part or all of the functional blocks of the control unit 2 in FIG.
  • control unit 11a of the server 8 and the control unit 11b of the terminal 9 can separately execute the processing of each functional block of the control unit 2 of FIG.
  • the control unit 11 a of the server 8 executes the processes of the scene estimation unit 24 and the utterance content determination unit 25, and
  • the control unit 11b may execute the processes of the image acquisition unit 21, the object detection unit 22, the image recognition unit 23, and the speech control unit 26.
  • the control part 11a and the control part 11b may perform the process of each functional block of the control part 2 by the other division method.
  • FIG. 3 is a flowchart for explaining an example of the operation of the mobile control device 1 according to the present embodiment.
  • the image acquisition unit 21 acquires a captured image around the terminal 9 via the imaging unit 3 (step S1).
  • the captured image is stored in the storage unit 10b, for example.
  • the object detection unit 22 performs an object detection process on the captured image to identify an area where the object may be reflected.
  • the object detection unit 22 may identify one or a plurality of areas.
  • the object detection part 22 produces
  • the algorithm for the object detection process a known algorithm such as selective search (Selective search) or objectness (Objectness) can be used.
  • the area can be specified by, for example, coordinate information representing the area. Examples of the method for expressing the coordinate information include (upper left vertex coordinates, horizontal width, vertical width) and (upper left vertex coordinates, lower right vertex coordinates), but are not particularly limited.
  • FIG. 4 is a diagram for explaining an example of object detection by the moving body control device 1.
  • apples and bananas are shown.
  • the object detection unit 22 identifies an area 101 in which an apple is reflected and an area 102 in which a banana is reflected from the captured image 100, cuts out each area, and detects the detected image data 1 and the detected image data 2. Are generated respectively.
  • the image recognizing unit 23 refers to the object DB 5a, and performs image recognition processing for identifying the name of the object shown on each detected image data generated by the object detecting unit 22.
  • a deep learning technique using a convolutional neural network has achieved high accuracy as an image recognition processing algorithm, and can be suitably used.
  • Another example of the image recognition processing algorithm is pattern matching.
  • Table 1 is a table showing an example of a result of processing by the image recognition unit 23.
  • name 1, name 2,..., Name n are identified for detected image data 1, detected image data 2,.
  • “apple” is identified for the detected image data from the area 101 shown in FIG. 4
  • “banana” is identified for the detected image data from the area 102.
  • the data indicating the name does not need to be a character string, and may be an index such as a numerical value associated with the name, an ID, or the like.
  • the scene estimation unit 24 acquires a combination (set) of the names and the like of the objects identified by the image recognition unit 23, and association information indicating association between each object and each scene stored in the scene DB 5b.
  • the scoring is performed with reference to (Step S4).
  • the scene estimation unit 24 adds points to the scene associated with each object identified by the image recognition unit 23.
  • an example is given and the detail of the process of scoring is demonstrated.
  • Table 2 is a table showing an example of association information stored in the scene DB 5b. Each row in Table 2 indicates a scene (room type). Each column in Table 2 indicates the name of the object. Each cell is assigned a numerical value in advance so that the value increases as the probability that the object shown in the column to which the cell belongs is arranged in the scene shown in the row to which the cell belongs is higher.
  • the scene estimation unit 24 synthesizes the numerical values of the columns corresponding to the objects identified by the image recognition unit 23 for each row (scene) in Table 2, and uses this as the score of each scene. Then, the scene estimation unit 24 estimates the scene with the highest score as the scene where the terminal 9 is placed (step S5).
  • the scene estimation unit 24 estimates the scene “living room” with the highest score as the scene where the terminal 9 is arranged.
  • the scene estimation unit 24 estimates the scene “kitchen” having the highest score as the scene where the terminal 9 is arranged.
  • the utterance content determination unit 25 refers to the operation DB 5c and determines the utterance content according to the scene estimated by the scene estimation unit 24 (step S6).
  • the scene estimation unit 24 estimates the scene “kitchen” as the scene in which the terminal 9 is arranged, and the utterance candidates as shown in Table 5 are stored in the operation DB 5c in association with the scene “kitchen”.
  • the utterance content determination unit 25 selects one utterance candidate from utterance candidates such as “Would you like to set a timer?” Decide what you want to utter.
  • the utterance control unit 26 synthesizes the voice of the utterance content determined by the utterance content determination unit 25 and causes the voice output unit 4 to output the voice as if the terminal 9 is speaking spontaneously.
  • the mobile control device 1 can estimate the scene (room type) where the terminal 9 is arranged based on the captured image, and can cause the terminal 9 to perform an utterance suitable for the scene. Thus, it is possible to make the terminal 9 speak more naturally.
  • control unit 2 of the moving body control device 1 may be configured to estimate a scene by a method different from the scene estimation process performed by the object detection unit 22, the image recognition unit 23, and the scene estimation unit 24.
  • the control unit 2 may estimate the scene where the terminal 9 is arranged by directly recognizing the captured image itself using a deep learning technique.
  • a deep learning technique it is necessary to acquire a large number of captured images corresponding to each scene and perform machine learning.
  • the scene is a room, a privacy problem arises, and it is difficult to acquire a large number of images for machine learning.
  • the image for machine learning is a captured image of each object. It does not occur, and images for machine learning can be easily collected.
  • the mobile control device 1 may be configured to cause the terminal 9 to perform an operation other than speech.
  • the mobile control device 1 includes an operation content determination unit instead of the utterance content determination unit 25 and an operation control unit instead of the utterance control unit 26.
  • the motion DB 5c stores motion candidates in association with each scene.
  • the operation content determination unit determines the operation content corresponding to the scene estimated by the scene estimation unit 24 as the operation content for causing the terminal 9 to operate.
  • the scene estimation unit 24 estimates the scene “living” as the scene where the terminal 9 is arranged, and motion candidates as shown in Table 6 are stored in the motion DB 5c in association with the scene “living”.
  • the motion content determination unit determines the motion content to be operated by the terminal 9 by selecting one motion candidate from motion candidates such as dancing and singing.
  • the operation control unit causes the terminal 9 to execute the operation content determined by the operation content determination unit.
  • the mobile control device 1 estimates the scene (room type) in which the terminal 9 is arranged based on the captured image, and performs an operation (particularly, a spontaneous operation) according to the scene for the terminal 9. Therefore, the operation of the terminal 9 can be performed more naturally.
  • the mobile body control apparatus 1 does not include the server 8 and may be configured such that only the terminal 9 has all the configurations. That is, the mobile body control device 1 shown in FIG.
  • FIG. 5 is a block diagram showing a main configuration of the mobile control device 1a according to the present embodiment.
  • the moving body control device 1a includes a GPS (Global Positioning System) 12
  • the control unit 2 includes a position information acquisition unit 27, and
  • the movement of the first embodiment is that the position information acquisition unit 27 acquires position information from the GPS 12, and the scene estimation unit 24 further estimates the scene by further referring to the position information acquired by the position information acquisition unit 27. It is different from the body control device 1.
  • the scene estimation unit 24 determines whether or not the terminal 9 is in the user's house according to the position information.
  • the determination method is not particularly limited, and a known method can be used.
  • the position information acquisition unit 27 may acquire the position information of the terminal 9 at a plurality of times, and specify the position where the terminal 9 is often present in the night time zone as the position of the user's house. Then, the scene estimation unit 24 determines whether or not the terminal 9 is in the user's house by determining whether or not the current position information is within a predetermined range from the position of the user's house. Can be determined.
  • the scene estimation unit 24 may estimate the scene only when the terminal 9 is in the user's house.
  • the scene DB 5b stores association information for each location, and the scene estimation unit 24 refers to the association information corresponding to the location specified according to the position information, and May be estimated.
  • the scene DB 5b stores association information for commercial facilities as shown in Table 7, and the scene estimation unit 24 uses the commercial facility information when the position information is within the range of the commercial facilities.
  • the scene (sales floor) may be estimated with reference to the association information.
  • the utterance content determination part 25 determines the utterance content according to a sales floor. For example, when the scene estimated by the scene estimation unit 24 is a home appliance department, the utterance content determination unit 25 determines a topic related to home appliances or detailed information on home appliances as utterance content.
  • the moving body control device 1a can estimate the scene where the terminal 9 is arranged more appropriately.
  • FIG. 6 is a block diagram showing a main configuration of the mobile control device 1b according to the present embodiment.
  • the control unit 2 includes a date and time acquisition unit 28, and
  • the utterance content determination unit 25 further refers to the date and time information acquired by the date and time acquisition unit 28 and utterance content Is different from the mobile control device 1 of the first embodiment.
  • the “date and time information” is information indicating a temporal position, and indicates at least one of time (hour, minute, second, millisecond, etc.) and calendar (year, month, week, season, day, etc.). Information.
  • the motion DB 5c stores information indicating utterance candidates and date and time conditions in association with each scene.
  • the utterance content determination unit 25 determines the utterance content according to the scene estimated by the scene estimation unit 24 and the date / time information acquired by the date / time acquisition unit 28 as the utterance content to be uttered by the terminal 9.
  • the scene estimation unit 24 estimates the scene “living” as the scene in which the terminal 9 is arranged, and motion candidates as shown in Table 8 are stored in the motion DB 5c in association with the scene “living”.
  • the utterance content determination unit 25 utters the utterance saying “The program of XX is about to start” or the specific day of the week included in the month.
  • utterances such as “This Wednesday is the day when non-burnable garbage can be put out.”
  • “Soon, XX is a delicious season. "Ne.”
  • the utterance control unit 26 causes the terminal 9 to implement the utterance content determined by the utterance content determination unit 25.
  • the mobile control device 1b estimates the scene (room type) where the terminal 9 is arranged based on the captured image, and informs the terminal 9 of not only the scene but also the date and time or the date and time section. Since the utterance suitable for (for example, count information such as the number of times of a specific day of the week in a specific month) can be performed, the utterance of the terminal 9 can be performed more naturally.
  • FIG. 7 is a diagram showing an example of the utterance of the terminal 9 in the present embodiment.
  • the terminal 9 when the terminal 9 is placed in the bedroom and the time is night, the terminal 9 utters “What time do you wake up tomorrow?” And “Good night”.
  • the terminal 9 when the terminal 9 is arranged in the kitchen, the terminal 9 makes an utterance such as “Do you want to have a recipe for cooking?” Or when the time is a preset cooking time. Utters "It's time to cook”.
  • the terminal 9 utters “It's about ** broadcasting time soon”.
  • the utterance content determination unit 25 sets the time information to a predetermined time zone such as night or noon, a time set at any time such as an end time of a preset timer, a start time of a television program, or the like.
  • the content of the utterance may be determined by comparing with a predetermined time or the like, or information such as a TV program or a weather forecast obtained from the date and time may be used to determine the utterance content.
  • the utterance content determination unit 25 sets the calendar information in advance such as a predetermined period such as spring, summer, autumn and winter, a preset date such as a scheduled date set in advance, an event date, etc.
  • the content of the utterance may be determined by comparing with the date or the like.
  • the mobile control device 1b can cause the terminal 9 to utter more natural utterance content.
  • Embodiment 4 of the present invention will be described below with reference to FIG.
  • members having the same functions as those described in the above embodiment are denoted by the same reference numerals and description thereof is omitted.
  • FIG. 8 is a block diagram showing a main configuration of the mobile control device 1c according to the present embodiment.
  • the mobile control device 1c includes a voice input unit 6 and a reaction DB (reaction storage unit) 5d, and (ii) the control unit 2 has a voice recognition unit (reaction detection unit).
  • the voice recognition unit 29 identifies the user's reaction, (v) the scene estimation unit 24 distinguishes the scene according to the combination of the objects identified by the image recognition unit 23, and (vi) the reaction accumulation unit 30
  • the type of user reaction identified by the voice recognition unit 29 is stored in the reaction DB 5d in association with the scene identified by the scene estimation unit 24 and the utterance of the terminal 9 output by the voice output unit 4, and (vii)
  • the utterance content determination unit 25 Part 24 with reference to the reaction and DB5d with distinction scene, a point of determining the speech content is different from the mobile control device 1 of the first embodiment.
  • the voice input unit 6 includes, for example, a microphone, and acquires voice data from the user as input information.
  • the voice recognition unit 29 detects the start and end of a person's voice in the voice data acquired by the voice input unit 6, extracts the person's voice part, and performs voice recognition of the extracted voice part, thereby The content of the user's reaction is specified from the voice data by.
  • the scene estimation unit 24 further distinguishes the scene for each combination of objects identified by the image recognition unit 23 and registers the scene in the reaction DB 5d. For example, as shown in Table 9, every time a scene is estimated with a new object combination, it is registered in the reaction DB 5d as room 1, room 2,. A scene of the same object combination or a scene of a similar object combination may be regarded as the same room and registered.
  • the reaction accumulating unit 30 determines the type of the user's reaction content (positive, negative, etc.) according to the user's reaction content specified by the voice recognition unit 29, and the determined reaction as shown in Table 10
  • the type of content is stored in the reaction DB 5d in association with the scene distinguished by the scene estimation unit 24 and the utterance content that the user has reacted to.
  • the utterance content determination unit 25 refers to the reaction DB 5d and determines the utterance content so as not to select the utterance content in which the negative reaction content is stored in association with the scene distinguished by the scene estimation unit 24. .
  • the reaction accumulation unit 30 corresponds to the room 1 and the specific utterance content in the reaction DB 5d.
  • a flag indicating a negative reaction is stored.
  • the negative reaction is, for example, a reaction such as silence or ending with “not” or “not”.
  • the counter associated with the scene and the content of the utterance that the user has reacted may be increased, and the flag may be stored when the threshold is exceeded.
  • the utterance content determination unit 25 refers to the reaction DB 5d when determining the utterance content in the room in which the same object combination as the room 1 is identified or the similar object combination is identified. Since a flag indicating a negative reaction is stored in the utterance content, the utterance content is determined while avoiding the specific utterance content.
  • the user's reaction in each scene can be finely reflected in the utterance content of the terminal 9, the utterance of the terminal 9 can be performed more naturally.
  • each function of the server 8 may be realized by an individual server. And when applying a some server, each server may be managed by the same provider, and may be managed by a different provider.
  • Each block of the mobile control device 1, 1a, 1b, 1c, server 8, and terminal 9 may be realized by a logic circuit (hardware) formed in an integrated circuit (IC chip) or the like, or a CPU (Central It may be realized by software using a Processing Unit.
  • the control unit 2 of the mobile control devices 1, 1a, 1b, and 1c, the control unit 11a of the server 8, and the control unit 11b of the terminal 9 are each using a computer (electronic computer) as shown in FIG. Can be configured.
  • FIG. 9 is a block diagram illustrating the configuration of a computer 50 that can be used as the control unit 2 of the mobile control devices 1, 1a, 1b, and 1c, the control unit 11a of the server 8, and the control unit 11b of the terminal 9.
  • the computer 50 includes an arithmetic device 51, a main storage device 52, an auxiliary storage device 53, an input / output interface 54, and a communication interface 55 that are connected to each other via a bus 56.
  • the arithmetic device 51, the main storage device 52, and the auxiliary storage device 53 may be storages such as a CPU, a RAM (random access memory), a hard disk drive, and a flash memory, respectively.
  • the input / output interface 54 Connected to the input / output interface 54 are an input device 60 for the user to input various information to the computer 50 and an output device 70 for the computer 50 to output various information to the user.
  • the input device 60 and the output device 70 may be built in the computer 50 or may be connected (externally attached) to the computer 50.
  • the input device 60 may be a keyboard, a mouse, a touch sensor, or the like
  • the output device 70 may be a display, a printer, a speaker, or the like.
  • the communication interface 55 is an interface for the computer 50 to communicate with an external device.
  • the auxiliary storage device 53 stores various programs for operating the computer 50 as the control unit 2 of the mobile control devices 1, 1 a, 1 b and 1 c, the control unit 11 a of the server 8, and the control unit 11 b of the terminal 9. ing. Then, the arithmetic device 51 expands the program stored in the auxiliary storage device 53 on the main storage device 52 and executes instructions included in the program, thereby causing the computer 50 to move to the mobile control device 1, 1a. 1b, the control unit 2 of 1c, the control unit 11a of the server 8, and the control unit 11b of the terminal 9 function as each unit.
  • the recording medium for recording information such as a program provided in the auxiliary storage device 53 may be any computer-readable “non-temporary tangible medium”, such as a tape, a disk, a card, a semiconductor memory, a programmable logic, and the like. It may be a circuit or the like.
  • the program may be acquired from outside the computer 50, and in this case, it may be acquired via an arbitrary transmission medium (communication network, broadcast wave, etc.).
  • the present invention can also be realized in the form of a data signal embedded in a carrier wave in which the program is embodied by electronic transmission.
  • a moving body control device (1, 1a, 1b, 1c) includes an image acquisition unit (21), an operation control unit (26), and one or more processors (control unit 2).
  • the image acquisition unit acquires a captured image around a specific mobile device (terminal 9), and the one or more processors refer to the captured image acquired by the image acquisition unit and the mobile unit.
  • the scene estimation process identifies an object included in the captured image and estimates a scene according to the combination of the identified objects. There may be.
  • the moving body control device further includes an association information storage unit (scene DB 5b) that stores association information indicating the association between the object and the scene in the aspect 2.
  • the scene estimation process may estimate a scene corresponding to the identified combination of objects with reference to the association information.
  • the moving body control device (1a) according to aspect 4 of the present invention further includes a position information acquisition unit (27) for acquiring position information of the moving body device in the above aspects 1 to 3, and the scene estimation processing In addition to the captured image, the scene may be estimated by further referring to the position information acquired by the position information acquisition unit.
  • the scene estimation processing may estimate a room in which the mobile body device is arranged as the scene.
  • the scene where the mobile device is arranged can be estimated appropriately.
  • the mobile control apparatus is the second association information storage unit (operation DB 5c) that stores the second association information indicating the association between the scene and the action in the above aspects 1 to 5. ), And the motion determination process may determine a motion corresponding to the estimated scene with reference to the second association information.
  • the motion determination process determines an utterance content according to the estimated scene, and the motion control process includes the movement control process
  • the body device may be made to utter the determined utterance content.
  • a specific mobile device can be uttered more naturally.
  • the motion determination process refers to date / time information to determine an operation according to the estimated scene. May be.
  • a specific mobile device can be uttered more naturally.
  • the mobile control device (1c) is the reaction detection unit (voice recognition unit 29) that detects a reaction from a user when the mobile device is caused to perform the determined operation.
  • a reaction storage unit (reaction DB 5d), wherein the scene estimation process identifies an object included in the captured image and estimates a scene according to the combination of the identified objects, One or more processors distinguish the scene for each combination of the identified objects, and the type of reaction detected by the reaction detection unit corresponds to the determined action corresponding to the reaction and the distinguished scene.
  • the action determination process refers to the type of reaction associated with the distinguished scene stored in the reaction storage unit. Operation may be configured to determine in accordance with the scene described above estimation.
  • the utterance of the mobile device can be more naturally performed.
  • the operating device may be realized by a computer.
  • the operating device is realized by the computer by operating the computer as each unit (software element) included in the operating device.
  • An operation program for the operation device and a computer-readable recording medium on which the operation program is recorded also fall within the scope of the present invention.
  • the mobile body control method refers to an image acquisition step (step S1) for acquiring a captured image around a specific mobile device (terminal 9), and the captured image acquired by the image acquisition step. Then, a scene estimation processing step (steps S2 to S5) for estimating the scene where the mobile device (terminal 9) is arranged, and the mobile device (terminal 9) corresponding to the scene estimated in the scene estimation processing step ) includes an operation determination processing step (step S6) for determining the operation and an operation control processing step for causing the mobile device (terminal 9) to perform the operation determined in the operation determination processing step.

Abstract

移動体装置に対し、動作をより自然に行わせる。移動体制御装置（１）は、特定の移動体装置の周囲の撮像画像を取得する画像取得部（２１）と、撮像画像を参照して移動体装置が配置されたシーンを推定し、推定したシーンに応じた動作を決定し、移動体装置に決定した動作をさせる制御部（２）とを備える。

Description

移動体制御装置および移動体制御プログラム
　本発明の一態様は移動体制御装置および移動体制御プログラムに関する。
　近年、人工知能を備えた装置の開発が盛んに行われている。例えば、特許文献１には、ユーザから知らないことを聞かれた場合にユーザにその答えを問い返し、その質問内容と答えを記憶して、次からの対話に用いるようにする音声対話装置が開示されている。
日本国特許公開公報「特開２００４－１０９３２３号公報（２００４年４月８日公開）」
　しかしながら、従来技術では、装置に対し、対話以外の動作（例えば、自発的な発話）をより自然に行わせることについて、十分な検討がなされていない。そこで、本発明者らは、独自の観点に基づき、移動体装置に対し、対話以外の場面においても、動作をより自然に行わせるための技術について鋭意検討を重ねている。
　本発明の一態様は、上記課題に鑑みてなされたものであり、移動体装置に対し、対話以外の場面においても、動作をより自然に行わせることができる移動体制御装置および移動体制御プログラムを提供することを主たる目的とする。
　上記の課題を解決するために、本発明の一態様に係る移動体制御装置は、画像取得部と、動作制御部と、一つ以上のプロセッサとを備え、前記画像取得部は、特定の移動体装置の周囲の撮像画像を取得し、前記一つ以上のプロセッサは、前記画像取得部が取得した撮像画像を参照して前記移動体装置が配置されたシーンを推定するシーン推定処理と、前記推定したシーンに応じた動作を決定する動作決定処理と、前記移動体装置に前記決定した動作をさせる動作制御処理とを行う。
　本発明の一態様によれば、特定の移動体装置が配置されたシーンを推定し、当該移動体装置に対し、当該移動体装置が配置されたシーンに合った動作を行わせることができる。
本発明の実施形態１に係る移動体制御装置の要部構成を示すブロック図である。 本発明の実施形態１に係る移動体制御装置のハードウェア構成の一例を示すブロック図である。 本発明の実施形態１に係る移動体制御装置の動作の一例を説明するフローチャートである。 本発明の実施形態１に係る移動体制御装置による物体の検出の一例を説明するための図である。 本発明の実施形態２に係る移動体制御装置の要部構成を示すブロック図である。 本発明の実施形態３に係る移動体制御装置の要部構成を示すブロック図である。 本発明の実施形態３に係る移動体制御装置による端末の発話の例を説明するための図である。 本発明の実施形態４に係る移動体制御装置の要部構成を示すブロック図である。 制御部として利用可能なコンピュータの構成を例示したブロック図である。
　〔実施形態１〕
　以下、本発明の実施形態１について、詳細に説明する。
　（移動体制御装置１の要部構成）
　図１は、本実施形態に係る移動体制御装置１の要部構成を示すブロック図である。移動体制御装置１は、図１に示すように、制御部（プロセッサ）２、撮像部３、音声出力部４、物体ＤＢ５ａ、シーンＤＢ（対応付け情報記憶部）５ｂおよび動作ＤＢ（第二の対応付け情報記憶部）５ｃを備えている。
　制御部２、撮像部３、音声出力部４、物体ＤＢ５ａ、シーンＤＢ５ｂおよび動作ＤＢ５ｃは、それぞれ単体のハードウェアによって構成されていてもよいし、複数のハードウェアによって分散的に構成されてもよい。
　制御部２は、機能ブロックとして、画像取得部２１、物体検出部２２、画像認識部２３、シーン推定部２４、発話内容決定部（動作決定部）２５および発話制御部（動作制御部）２６を備えている。制御部２は、１または複数のプロセッサである。制御部２としては、１個のプロセッサがすべての機能ブロックの処理を実行してもよいし、複数のプロセッサが各機能ブロックの処理を分けて実行してもよい。
　撮像部３は、例えば、一つ以上のカメラであり、特定の移動体装置の周囲を撮像する。画像取得部２１は、撮像部３を介して、当該特定の移動体装置の周囲の撮像画像を取得する。画像取得部２１は、単一の撮像画像を取得するものであってもよいし、複数の撮像画像を取得するものであってもよい。画像取得部２１が複数の撮像画像を取得する場合、（ｉ）撮像部３は互いに異なる方向を撮像する複数のカメラを備えており、画像取得部２１は各カメラからそれぞれ撮像画像を取得するようになっていてもよいし、（ｉｉ）撮像部３は移動（回転を含む）可能なカメラを備えており、画像取得部２１は当該カメラを移動させながら、または当該カメラの向きを変えながら複数の撮像画像を取得するようになっていてもよい。これにより、画像取得部２１、当該特定の移動体装置の周囲の撮像画像を好適に取得することができる。
　物体検出部２２は、画像取得部２１が取得した撮像画像中に含まれる物体（例えば、移動体装置が家の中にある場合には、テレビ、ソファー、テーブルなど）を検出する（シーン推定処理の一部）。詳細には、物体検出部２２は、物体が映っている可能性がある撮像画像中のエリアを特定し、当該エリアを切り出して検出画像データを生成する。物体検出部２２は、撮像画像中に、物体が映っている可能性のあるエリアが複数含まれている場合には、複数のエリアを特定し、複数の検出画像データを生成する。
　画像認識部２３は、物体ＤＢ５ａを参照して、物体検出部２２が生成した検出画像データに基づき、物体検出部２２が検出した物体の名称またはＩＤ等を識別する（シーン推定処理の一部）。物体ＤＢ５ａには、各物体の名称またはＩＤ等を識別するために用いられる情報が予め記憶されている。例えば、物体ＤＢ５ａには、検出画像データの特徴量をとらえるためのパラメーターや複数の特徴量を各物体の名称またはＩＤ等へ変換するための情報が予め記憶されている。
　シーン推定部２４は、シーンＤＢ５ｂを参照して、画像認識部２３が識別した物体の名称またはＩＤ等の組み合わせから、当該特定の移動体装置が配置されたシーンを推定する（シーン推定処理）。なお、本明細書において「移動体装置が配置されたシーン」とは、移動体装置が配置された場所の種類を意味し、例えば、家の中であれば、リビング、寝室、キッチンなどの部屋であり得る。シーンＤＢ５ｂには、各物体と各シーンとの対応付けを示す対応付け情報が予め記憶されている。より詳細には、例えば、各シーンに対応付けて、当該シーンにおいて存在する可能性が高い物体の名称またはＩＤ等が予め記憶されている。
　発話内容決定部２５は、動作ＤＢ５ｃを参照して、シーン推定部２４が推定したシーンに応じた発話内容を決定する（動作決定処理）。動作ＤＢ５ｃには、各シーンに対応付けて、当該シーンに応じた発話候補を規定する情報が予め記憶されている。
　音声出力部４は、例えば、スピーカである。発話制御部２６は、発話内容決定部２５が決定した発話内容を音声に変換し、音声出力部４から出力させる（動作制御処理）。発話制御部２６は、例えば、公知の音声合成技術を用いて音声を合成してもよい。
　なお、各機能ブロック間におけるデータ（画像含む）の受け渡しの方法は特に限定されず、例えば、後述するように、記憶部を介して受け渡しをしてもよいし、通信インターフェースを介して受け渡しをしてもよい。
　（移動体制御装置１のハードウェア構成）
　図２は、本実施形態に係る移動体制御装置１のハードウェア構成の一例を示すブロック図である。移動体制御装置１は、一例において、図２に示すように、サーバ８と、端末（移動体装置）９とを備えている。
　サーバ８は、通信部７ａ、記憶部１０ａ、および、制御部１１ａを備えている。通信部７ａは、端末９と通信するための通信インターフェースである。記憶部１０ａには、一部または全部のＤＢが格納されている。また、記憶部１０ａは、各ブロック間のデータの入出力にも用いられる。制御部１１ａは、サーバ８の各構成要素を統括的に制御する機能を備えている演算装置である。制御部１１ａは、図１の制御部２の一部または全部の機能ブロックの処理を実行することが可能である。
　端末９は、スマートフォン等の携帯電話端末、タブレット等の携帯情報端末、携帯可能な小型ロボット、ロボット掃除機等の自走可能なロボット等であり得るが、それらに限定されることはなく、携帯されることにより、または、自ら動くことにより移動可能な装置（移動体装置）であればよい。
　端末９は、撮像部３、音声出力部４、通信部７ｂ、記憶部１０ｂ、および、制御部１１ｂを備えている。通信部７ｂは、サーバ８と通信するための通信インターフェースである。記憶部１０ｂには、一部または全部のＤＢが格納されている。また、記憶部１０ｂは、各ブロック間のデータの入出力にも用いられる。制御部１１ｂは、端末９の各構成要素を統括的に制御する機能を備えている演算装置である。制御部１１ｂは、図１の制御部２の一部または全部の機能ブロックの処理を実行することが可能である。
　また、サーバ８の制御部１１ａと、端末９の制御部１１ｂとは、図１の制御部２の各機能ブロックの処理を分けて実行することが可能である。例えば、図１において、制御部２の枠組み内に点線にて境界を示したように、サーバ８の制御部１１ａが、シーン推定部２４および発話内容決定部２５の処理を実行し、端末９の制御部１１ｂが、画像取得部２１、物体検出部２２、画像認識部２３および発話制御部２６の処理を実行してよい。また、他の分け方で、制御部１１ａと制御部１１ｂとが、制御部２の各機能ブロックの処理を実行してもよい。
　（移動体制御装置１の動作）
　図３は、本実施形態に係る移動体制御装置１の動作の一例を説明するフローチャートである。
　まず、画像取得部２１は、撮像部３を介して、端末９の周囲の撮像画像を取得する（ステップＳ１）。撮像画像は、例えば、記憶部１０ｂに記憶される。
　続いて、物体検出部２２は、撮像画像に対し、物体検出の処理を行うことにより、物体が映っている可能性のあるエリアを特定する。このとき、物体検出部２２は、１または複数のエリアを特定する可能性がある。そして、物体検出部２２は、撮像画像から各エリアを切り出すことによって、当該エリアに対応する検出画像データを生成する（ステップＳ２）。なお、物体検出部２２が物体を検出しなかった場合（生成した検出画像データが０個の場合）は、ステップＳ３以降の処理は行われない。
　物体検出の処理のアルゴリズムとしては、セレクティブサーチ（Selective Search）やオブジェクトネス（Objectness）などの公知のアルゴリズムを用いることができる。また、エリアの特定は、例えば、エリアを表す座標情報によって特定することができる。座標情報の表現方法としては、例えば、（左上頂点座標、横幅、縦幅）や、（左上頂点座標、右下頂点座標）などが挙げられるが、特に限定されない。
　図４は、移動体制御装置１による物体の検出の一例を説明するための図である。撮像画像１００中には、リンゴおよびバナナが映っている。物体検出部２２は、撮像画像１００から、リンゴが映っているエリア１０１と、バナナが映っているエリア１０２とを特定し、それぞれのエリアを切り出して、検出画像データ１と、検出画像データ２とをそれぞれ生成する。
　続いて、画像認識部２３は、物体ＤＢ５ａを参照し、物体検出部２２によって生成された各検出画像データに対し、映っている物体の名称を識別する画像認識の処理を行う。画像認識の処理のアルゴリズムとしては、近年、畳み込みニューラルネットワークを用いたディープラーニング技術が高い精度を出しており、好適に用いることができる。また、他の画像認識の処理のアルゴリズムとして、パターンマッチング等を挙げることができる。
　表１は、画像認識部２３による処理の結果の一例を示す表である。表１に示すように、検出画像データ１、検出画像データ２、・・・、検出画像データｎに対して、それぞれ名称１、名称２、・・・、名称ｎが識別される。例えば、図４に示すエリア１０１からの検出画像データに対しては「リンゴ」が、エリア１０２からの検出画像データに対しては「バナナ」が、それぞれ識別される。なお、名称を示すデータは、文字列である必要はなく、名称に対応づけられた数値などのインデックスやＩＤ等としてもよい。
Figure JPOXMLDOC01-appb-T000001
　次に、シーン推定部２４は、画像認識部２３が識別した物体の名称等の組み合わせ（セット）を取得し、シーンＤＢ５ｂに記憶されている各物体と各シーンとの対応付けを示す対応付け情報を参照して、スコアリングを行う（ステップＳ４）。
　スコアリングの処理では、シーン推定部２４は、画像認識部２３が識別した各物体に対応付けされたシーンに加点する。以下、例を挙げてスコアリングの処理の詳細を説明する。
　表２は、シーンＤＢ５ｂに記憶されている対応付け情報の一例を示す表である。表２の各行は、シーン（部屋の種類）を示している。表２の各列は、物体の名称を示している。各升目には、当該升目が属する列に示される物体が、当該升目が属する行に示されるシーンに配置される確率が高い程値が大きくなるように、数値が予め割り当てられている。
Figure JPOXMLDOC01-appb-T000002
　そして、シーン推定部２４は、表２の各行（シーン）について、画像認識部２３が識別した物体に対応する列の数値を合成し、これを各シーンのスコアとする。そして、シーン推定部２４は、最もスコアが高かったシーンを、端末９が配置されたシーンとして推定する（ステップＳ５）。
　一例を挙げれば、画像認識部２３が識別した物体が「テレビ」と「ソファー」であった場合には、表３に示すように、シーン「リビング」の行において、「テレビ」に対応する列の数値は１０、「ソファー」に対応する列の数値は９であるため、シーン「リビング」のスコアは１９となる。同様に、シーン「キッチン」のスコアは１となり、シーン「寝室」のスコアは７となり、シーン「洗面所」のスコアは０となる。その結果、シーン推定部２４は、最もスコアの高いシーン「リビング」を、端末９が配置されたシーンとして推定する。
Figure JPOXMLDOC01-appb-T000003
　他の例を挙げれば、画像認識部２３が識別した物体が「スポンジ」と「フライパン」と「せっけん」であった場合には、表４に示すように、シーン「キッチン」の行において、「スポンジ」に対応する列の数値は１０、「フライパン」に対応する列の数値は１０、「せっけん」に対応する列の数値は３であるため、シーン「キッチン」のスコアは２３となる。同様に、シーン「リビング」のスコアは０となり、シーン「寝室」のスコアは０となり、シーン「洗面所」のスコアは１３となる。その結果、シーン推定部２４は、最もスコアの高いシーン「キッチン」を、端末９が配置されたシーンとして推定する。
Figure JPOXMLDOC01-appb-T000004
　続いて、発話内容決定部２５は、動作ＤＢ５ｃを参照して、シーン推定部２４が推定したシーンに応じて、発話内容を決定する（ステップＳ６）。例えば、シーン推定部２４が、端末９が配置されたシーンとしてシーン「キッチン」を推定し、動作ＤＢ５ｃに、シーン「キッチン」に対応付けて、表５に示すような発話候補が記憶されていた場合には、発話内容決定部２５は、「タイマーをセットしますか？」、「何の料理のレシピを出しますか？」などの発話候補から一つの発話候補を選択することにより、端末９に発話させる発話内容を決定する。
Figure JPOXMLDOC01-appb-T000005
　そして、発話制御部２６は、発話内容決定部２５が決定した発話内容の音声を合成し、音声出力部４から、あたかも端末９が自発的に発話しているかのように音声出力させる。
　以上の通り、移動体制御装置１は、撮像画像に基づいて端末９が配置されたシーン（部屋の種類）を推定し、端末９に対し、当該シーンに合った発話を行わせることができるため、端末９の発話をより自然に行わせることができる。
　（変形例１）
　なお、移動体制御装置１の制御部２は、物体検出部２２、画像認識部２３およびシーン推定部２４によるシーン推定処理とは異なる方法で、シーンを推定するようになっていてもよい。
　例えば、一変形例において、制御部２は、撮像画像そのものを、ディープラーニング技術を用いて直接画像認識することにより、端末９が配置されたシーンを推定してもよい。但し、このようなディープラーニング技術を実現するためには、各シーンに対応する撮像画像を多数取得して、機械学習を行う必要がある。しかしながら、例えば、シーンが部屋である場合、プライバシーの問題が生じるため、機械学習のための画像を多数取得することは困難である。一方、実施形態１で説明したように、各物体について、ディープラーニング技術を用いて画像認識する手法によれば、機械学習のための画像は、各物体の撮像画像となるため、プライバシーの問題は生じず、機械学習のための画像を容易に収集することができる。
　（変形例２）
　また、移動体制御装置１は、端末９に発話以外の動作をさせる構成になっていてもよい。
　例えば、一変形例において、移動体制御装置１は、発話内容決定部２５の代わりに動作内容決定部を備え、発話制御部２６の代わりに動作制御部を備えている。そして、動作ＤＢ５ｃには、各シーンに対応付けて、動作候補が記憶されている。動作内容決定部は、シーン推定部２４が推定したシーンに応じた動作内容を、端末９に動作させる動作内容として決定する。例えば、シーン推定部２４が、端末９が配置されたシーンとしてシーン「リビング」を推定し、動作ＤＢ５ｃに、シーン「リビング」に対応付けて、表６に示すような動作候補が記憶されていた場合には、動作内容決定部は、踊る、歌うなどの動作候補から一つの動作候補を選択することにより、端末９に動作させる動作内容を決定する。
Figure JPOXMLDOC01-appb-T000006
　そして、動作制御部は、動作内容決定部が決定した動作内容を、端末９に実施させる。これにより、移動体制御装置１は、撮像画像に基づいて端末９が配置されたシーン（部屋の種類）を推定し、端末９に対し、当該シーンに合った動作（特に、自発的な動作）を行わせることができるため、端末９の動作をより自然に行わせることができる。
　（変形例３）
　また、移動体制御装置１は、サーバ８を含まず、端末９のみに全ての構成が備えられている構成になっていてもよい。すなわち、図１に示す移動体制御装置１が、端末９である構成である。
　〔実施形態２〕
　本発明の実施形態２について、図５に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
　図５は、本実施形態に係る移動体制御装置１ａの要部構成を示すブロック図である。図５に示すように、（ｉ）移動体制御装置１ａがＧＰＳ（Global Positioning System）１２を備えている点、（ｉｉ）制御部２が位置情報取得部２７を備えている点、さらに（ｉｉｉ）位置情報取得部２７がＧＰＳ１２から位置情報を取得し、シーン推定部２４が、位置情報取得部２７が取得した位置情報をさらに参照してシーンを推定している点が、実施形態１の移動体制御装置１と異なっている。
　例えば、一態様において、シーン推定部２４は、位置情報に応じて、端末９が、ユーザの家の中にあるか否かを判定する。判定の方法は特に限定されず、公知の方法を用いることができる。例えば、位置情報取得部２７が、複数の時刻において端末９の位置情報を取得し、夜の時間帯において、端末９があることが多い位置を、ユーザの家の位置と特定してもよい。そして、シーン推定部２４は、現在の位置情報が、ユーザの家の位置から所定の範囲内にあるか否かを判定することにより、端末９が、ユーザの家の中にあるか否かを判定することができる。そして、シーン推定部２４は、端末９が、ユーザの家の中にある場合にのみ、シーンを推定するようにしてもよい。
　また、他の態様において、シーンＤＢ５ｂには、場所毎の対応付け情報が記憶されており、シーン推定部２４は、位置情報に応じて特定した場所に対応する対応付け情報を参照して、シーンを推定するようになっていてもよい。場所としては、上述したユーザの家の他に、例えば、商業施設等が想定される。例えば、シーンＤＢ５ｂには、表７に示すような、商業施設用の対応付け情報が記憶されており、シーン推定部２４は、位置情報が商業施設の範囲内である場合に、当該商業施設用の対応付け情報を参照して、シーン（売り場）を推定するようになっていてもよい。そして、発話内容決定部２５は、売り場に応じて発話内容を決定する。例えば、シーン推定部２４が推定したシーンが家電売り場である場合には、発話内容決定部２５は、家電に関する話題や家電の詳しい情報などを発話内容として決定する。
Figure JPOXMLDOC01-appb-T000007
　これにより、移動体制御装置１ａは、端末９が配置されたシーンをより好適に推定することができる。
　〔実施形態３〕
　本発明の実施形態３について、図６～図７に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
　図６は、本実施形態に係る移動体制御装置１ｂの要部構成を示すブロック図である。図６に示すように、（ｉ）制御部２が日時取得部２８を備えている点、（ｉｉ）発話内容決定部２５が、日時取得部２８が取得した日時情報をさらに参照して発話内容を決定している点が、実施形態１の移動体制御装置１と異なっている。上記「日時情報」とは、時間的な位置を示す情報であり、時刻（時、分、秒、ミリ秒等）および暦（年、月、週、旬、日等）の少なくとも１つを示す情報である。
　ここで、動作ＤＢ５ｃには、各シーンに対応付けて、発話候補、および、日時の条件を示す情報が記憶されている。発話内容決定部２５は、シーン推定部２４が推定したシーン、ならびに、日時取得部２８が取得した日時情報に応じた発話内容を、端末９に発話させる発話内容として決定する。
　例えば、シーン推定部２４が、端末９が配置されたシーンとしてシーン「リビング」を推定し、動作ＤＢ５ｃに、シーン「リビング」に対応付けて、表８に示すような動作候補が記憶されていた場合には、発話内容決定部２５は、日時（時刻）が所定の条件を満たしたとき、「そろそろ○○の番組が始まるよ。」と言った発話や、その月に含まれる特定の曜日の回数が所定の条件を満たしたとき、「今週の水曜は不燃ごみを出せる日だよ。」といった発話を行い、日時（暦）が所定の条件を満たしたとき、「そろそろ○○がおいしい季節だね。」といった発話を行う。
Figure JPOXMLDOC01-appb-T000008
　そして、発話制御部２６は、発話内容決定部２５が決定した発話内容を、端末９に実施させる。これにより、移動体制御装置１ｂは、撮像画像に基づいて端末９が配置されたシーン（部屋の種類）を推定し、端末９に対し、当該シーンだけではなく、日時、または日時の区間の情報（例えば、特定の月における特定の曜日の回数のようなカウント情報）に合った発話を行わせることができるため、端末９の発話をより自然に行わせることができる。
　図７は、本実施形態における端末９の発話の例を示す図である。図７に示すように、端末９が寝室に配置され、時刻が夜である場合、端末９は、「明日は何時起きですか？」、「おやすみなさい」といった発話を行う。また、端末９がキッチンに配置されている場合、端末９は、「料理のレシピを出しますか？」といった発話を行ったり、時刻が、事前に設定された料理のできあがり時間であった場合には、「料理のできあがりの時間だよ」といった発話を行ったりする。また、端末９がリビングに配置され、時刻が所定のテレビ番組の開始時刻である場合、端末９は、「もうすぐ○○の放送時間だよ」といった発話を行う。また、端末９がリビングに配置され、時刻が朝で、天気予報が雨の場合には、端末９は、「今日は雨みたいだから傘をもってね」といった発話を行う。このように、発話内容決定部２５は、時刻情報を、夜、昼といった予め定められている時間帯や、事前にセットしたタイマーの終了時刻等の随時セットされる時刻、テレビ番組の開始時刻等の予め定められている時刻等と比較することにより、発話内容を決定してもよいし、発話内容の決定には、日時から得られるテレビ番組や天気予報等の情報を用いてもよい。また、発話内容決定部２５は、暦情報を、春夏秋冬といった予め定められている期間や、事前にセットした予定日等の随時セットされる日付、イベントの開催日等の予め定められている日付等と比較することにより、発話内容を決定してもよい。
　これにより、移動体制御装置１ｂは、より自然な発話内容を端末９に発話させることができる。
　〔実施形態４〕
　本発明の実施形態４について、図８に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
　図８は、本実施形態に係る移動体制御装置１ｃの要部構成を示すブロック図である。図８に示すように、（ｉ）移動体制御装置１ｃが音声入力部６および反応ＤＢ（反応記憶部）５ｄを備えている点、（ｉｉ）制御部２が音声認識部（反応検出部）２９および反応蓄積部３０を備えている点、（ｉｉｉ）音声出力部４が出力した端末９の発話に対するユーザの反応が音声入力部６を介して入力され、（ｉｖ）音声入力部６に入力されたユーザの反応を、音声認識部２９が識別し、（ｖ）シーン推定部２４が、画像認識部２３が識別した物体の組み合わせに応じてシーンを区別し、（ｖｉ）反応蓄積部３０が、音声認識部２９が識別したユーザの反応の種類を、シーン推定部２４が区別したシーン、および、音声出力部４が出力した端末９の発話に対応付けて反応ＤＢ５ｄに蓄積し、（ｖｉｉ）発話内容決定部２５が、シーン推定部２４が区別したシーンと反応ＤＢ５ｄとを参照して、発話内容を決定する点が、実施形態１の移動体制御装置１と異なっている。
　音声入力部６は、例えば、マイクを備え、入力情報としてユーザによる音声データを取得する。音声認識部２９は、音声入力部６が取得した音声データにおいて、人の音声の始まりおよび終わりを検知して、人の音声部分を抽出し、抽出した音声部分の音声認識を行うことにより、ユーザによる音声データからユーザの反応内容を特定する。
　また、シーン推定部２４は、シーン推定の処理が行われたとき、さらに、画像認識部２３が識別した物体の組み合わせ毎に、シーンを区別して、それぞれ反応ＤＢ５ｄに登録する。例えば、表９のように、新しい物体の組み合わせでシーンを推定する毎に、それぞれ部屋１、部屋２、・・・として反応ＤＢ５ｄに登録する。同じ物体の組み合わせのシーン、または似通った物体の組み合わせのシーンは、同じ部屋とみなして登録してもよい。
Figure JPOXMLDOC01-appb-T000009
　そして、反応蓄積部３０は、音声認識部２９が特定したユーザの反応内容に応じて、ユーザの反応内容の種別（肯定的、否定的等）を判定し、表１０のように、判定した反応内容の種別を、シーン推定部２４によって区別されたシーン、および、ユーザの反応した発話内容に対応付けて反応ＤＢ５ｄに記憶させる。
Figure JPOXMLDOC01-appb-T000010
　また、発話内容決定部２５は、反応ＤＢ５ｄを参照し、シーン推定部２４によって区別されたシーンに対応付けて否定的な反応内容が記憶されている発話内容は選択しないように発話内容を決定する。
　例えば、部屋１において、端末９が特定の発話内容を発話したときに、ユーザから否定的な反応があった場合、反応蓄積部３０は、反応ＤＢ５ｄに、部屋１および当該特定の発話内容と対応付けして、否定的な反応を示すフラグを記憶させる。否定的な反応とは、例えば、無言や語尾が「～ではない」、「～しない」などの反応である。また、否定的な反応があった場合、シーン、および、ユーザの反応した発話内容に対応付いたカウンターを増やし、閾値を超えたときにフラグを記憶させてもよい。その後、発話内容決定部２５は、部屋１と同じ物体の組み合わせが識別された、または似通った物体の組み合わせが識別された部屋において、発話内容を決定する際に、反応ＤＢ５ｄを参照し、当該特定の発話内容に否定的な反応を示すフラグが記憶されているため、当該特定の発話内容を避けて、発話内容を決定する。
　これにより、端末９の発話内容について、各シーンにおけるユーザの反応を細やかに反映させることができるため、端末９の発話をより自然に行わせることができる。
　〔実施形態５〕
　上記各実施形態では、１つのサーバ８を用いる例を説明したが、サーバ８の有する各機能が、個別のサーバにて実現されていてもよい。そして、複数のサーバを適用する場合においては、各サーバは、同じ事業者によって管理されていてもよいし、異なる事業者によって管理されていてもよい。
　〔実施形態６〕
　移動体制御装置１、１ａ、１ｂ、１ｃ、サーバ８、端末９の各ブロックは、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。後者の場合、移動体制御装置１、１ａ、１ｂ、１ｃの制御部２、サーバ８の制御部１１ａ、端末９の制御部１１ｂのそれぞれを、図９に示すようなコンピュータ（電子計算機）を用いて構成することができる。
　図９は、移動体制御装置１、１ａ、１ｂ、１ｃの制御部２、サーバ８の制御部１１ａ、端末９の制御部１１ｂとして利用可能なコンピュータ５０の構成を例示したブロック図である。コンピュータ５０は、バス５６を介して互いに接続された演算装置５１と、主記憶装置５２と、補助記憶装置５３と、入出力インターフェース５４と、通信インターフェース５５とを備えている。演算装置５１、主記憶装置５２、および補助記憶装置５３は、それぞれ、例えばＣＰＵ、ＲＡＭ（random access memory）、ハードディスクドライブやフラッシュメモリなどのストレージであってもよい。入出力インターフェース５４には、ユーザがコンピュータ５０に各種情報を入力するための入力装置６０、および、コンピュータ５０がユーザに各種情報を出力するための出力装置７０が接続される。入力装置６０および出力装置７０は、コンピュータ５０に内蔵されたものであってもよいし、コンピュータ５０に接続された（外付けされた）ものであってもよい。例えば、入力装置６０は、キーボード、マウス、タッチセンサなどであってもよく、出力装置７０は、ディスプレイ、プリンタ、スピーカなどであってもよい。また、タッチセンサとディスプレイとが一体化されたタッチパネルのような、入力装置６０および出力装置７０の双方の機能を有する装置を適用してもよい。そして、通信インターフェース５５は、コンピュータ５０が外部の装置と通信するためのインターフェースである。
　補助記憶装置５３には、コンピュータ５０を移動体制御装置１、１ａ、１ｂ、１ｃの制御部２、サーバ８の制御部１１ａ、端末９の制御部１１ｂとして動作させるための各種のプログラムが格納されている。そして、演算装置５１は、補助記憶装置５３に格納された上記プログラムを主記憶装置５２上に展開して該プログラムに含まれる命令を実行することによって、コンピュータ５０を、移動体制御装置１、１ａ、１ｂ、１ｃの制御部２、サーバ８の制御部１１ａ、端末９の制御部１１ｂが備える各部として機能させる。なお、補助記憶装置５３が備える、プログラム等の情報を記録する記録媒体は、コンピュータ読み取り可能な「一時的でない有形の媒体」であればよく、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブル論理回路などであってもよい。
　また、上記プログラムは、コンピュータ５０の外部から取得してもよく、この場合、任意の伝送媒体（通信ネットワークや放送波等）を介して取得してもよい。そして、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
　〔まとめ〕
　本発明の態様１に係る移動体制御装置（１、１ａ、１ｂ、１ｃ）は、画像取得部（２１）と、動作制御部（２６）と、一つ以上のプロセッサ（制御部２）とを備え、前記画像取得部は、特定の移動体装置（端末９）の周囲の撮像画像を取得し、前記一つ以上のプロセッサは、前記画像取得部が取得した撮像画像を参照して前記移動体装置が配置されたシーンを推定するシーン推定処理と、前記推定したシーンに応じた前記移動体装置の動作を決定する動作決定処理と、前記移動体装置に前記決定した動作をさせる動作制御処理とを行う。
　上記の構成によれば、特定の移動体装置が配置されたシーンを推定し、当該移動体装置に対し、当該シーンに合った動作を行わせることができる。
　本発明の態様２に係る移動体制御装置は、上記態様１において、前記シーン推定処理は、前記撮像画像に含まれる物体を識別し、前記識別した物体の組み合わせに応じたシーンを推定するものであってもよい。
　上記の構成によれば、特定の移動体装置が配置されたシーンを好適に推定することができる。
　本発明の態様３に係る移動体制御装置は、上記態様２において、前記物体と前記シーンとの対応付けを示す対応付け情報を記憶する対応付け情報記憶部（シーンＤＢ５ｂ）をさらに備えており、前記シーン推定処理は、前記対応付け情報を参照して前記識別した物体の組み合わせに応じたシーンを推定するものであってもよい。
　上記の構成によれば、特定の移動体装置が配置されたシーンを好適に推定することができる。
　本発明の態様４に係る移動体制御装置（１ａ）は、上記態様１～３において、前記移動体装置の位置情報を取得する位置情報取得部（２７）をさらに備えており、前記シーン推定処理は、前記撮像画像に加えて、前記位置情報取得部が取得した前記位置情報をさらに参照して前記シーンを推定するものであってもよい。
　上記の構成によれば、特定の移動体装置が配置されたシーンを好適に推定することができる。
　本発明の態様５に係る移動体制御装置は、上記態様１～４において、前記シーン推定処理は、前記シーンとして、前記移動体装置が配置された部屋を推定するものであってもよい。
　上記の構成によれば、特定の移動体装置が家の中にいるときに、当該移動体装置が配置されたシーンを好適に推定することができる。
　本発明の態様６に係る移動体制御装置は、上記態様１～５において、前記シーンと前記動作の対応付けを示す第二の対応付け情報を記憶する第二の対応付け情報記憶部（動作ＤＢ５ｃ）をさらに備えており、前記動作決定処理は、前記第二の対応付け情報を参照して前記推定したシーンに応じた動作を決定するものであってもよい。
　上記の構成によれば、特定の移動体装置が配置されたシーンに応じた動作を好適に決定することができる。
　本発明の態様７に係る移動体制御装置は、上記態様１～６において、前記動作決定処理は、前記推定したシーンに応じた発話内容を決定するものであり、前記動作制御処理は、前記移動体装置に前記決定した発話内容を発話させるものであってもよい。
　上記の構成によれば、特定の移動体装置の発話をより自然に行わせることができる。
　本発明の態様８に係る移動体制御装置（１ｂ）は、上記態様１～７において、前記動作決定処理は、日時情報を参照して、前記推定したシーンに応じた動作を決定するものであってもよい。
　上記の構成によれば、特定の移動体装置の発話をより自然に行わせることができる。
　本発明の態様９に係る移動体制御装置（１ｃ）は、上記態様１において、前記移動体装置に前記決定した動作をさせたことに対するユーザからの反応を検出する反応検出部（音声認識部２９）と、反応記憶部（反応ＤＢ５ｄ）とをさらに備え、前記シーン推定処理は、前記撮像画像に含まれる物体を識別し、前記識別した物体の組み合わせに応じたシーンを推定するものであり、前記一つ以上のプロセッサは、前記識別した物体の組み合わせ毎に、前記シーンを区別し、前記反応検出部が検出した反応の種類を、当該反応に対応する前記決定した動作および前記区別したシーンに対応付けて前記反応記憶部に記憶させ、前記動作決定処理は、前記反応記憶部に記憶されている前記区別したシーンに対応付けられた前記反応の種類を参照して、前記推定したシーンに応じた動作を決定するものであってもよい。
　上記の構成によれば、特定の移動体装置の発話内容について、各シーンにおけるユーザの反応を細やかに反映させることができるため、当該移動体装置の発話をより自然に行わせることができる。
　本発明の各態様に係る動作装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記動作装置が備える各部（ソフトウェア要素）として動作させることにより上記動作装置をコンピュータにて実現させる動作装置の動作プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
　本発明の態様１１に係る移動体制御方法は、特定の移動体装置（端末９）の周囲の撮像画像を取得する画像取得工程（ステップＳ１）と、前記画像取得工程によって取得した撮像画像を参照して前記移動体装置（端末９）が配置されたシーンを推定するシーン推定処理工程（ステップＳ２～ステップＳ５）と、前記シーン推定処理工程において推定したシーンに応じた前記移動体装置（端末９）の動作を決定する動作決定処理工程（ステップＳ６）と、前記移動体装置（端末９）に、前記動作決定処理工程において決定した動作をさせる動作制御処理工程と、を包含している。
　上記の構成によれば、本発明の態様１と同様の効果を奏する。
　本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
　１　　　　　移動体制御装置
　２　　　　　制御部（プロセッサ）
　３　　　　　撮像部
　４　　　　　音声出力部
　５ａ　　　　物体ＤＢ
　５ｂ　　　　シーンＤＢ（対応付け情報記憶部）
　５ｃ　　　　動作ＤＢ（第二の対応付け情報記憶部）
　５ｄ　　　　反応ＤＢ（反応記憶部）
　６　　　　　音声入力部
　７ａ、７ｂ　通信部
　８　　　　　サーバ
　９　　　　　端末（移動体装置）
　１０ａ、１０ｂ　記憶部
　１１ａ、１１ｂ　制御部
　１２　　　　ＧＰＳ
　２１　　　　画像取得部
　２２　　　　物体検出部
　２３　　　　画像認識部
　２４　　　　シーン推定部
　２５　　　　発話内容決定部（動作決定部）
　２６　　　　発話制御部（動作制御部）
　２７　　　　位置情報取得部
　２８　　　　日時取得部
　２９　　　　音声認識部（反応検出部）
　３０　　　　反応蓄積部
　１００　　　撮像画像
　１０１、１０２　エリア

Claims (11)

  1. 　画像取得部と、一つ以上のプロセッサとを備え、
    　前記画像取得部は、特定の移動体装置の周囲の撮像画像を取得し、
    　前記一つ以上のプロセッサは、
    　前記画像取得部が取得した撮像画像を参照して前記移動体装置が配置されたシーンを推定するシーン推定処理と、
    　前記推定したシーンに応じた前記移動体装置の動作を決定する動作決定処理と、
    　前記移動体装置に前記決定した動作をさせる動作制御処理と
    を行うことを特徴とする移動体制御装置。
  2. 　前記シーン推定処理は、前記撮像画像に含まれる物体を識別し、前記識別した物体の組み合わせに応じたシーンを推定するものであることを特徴とする請求項１に記載の移動体制御装置。
  3. 　前記物体と前記シーンとの対応付けを示す対応付け情報を記憶する対応付け情報記憶部をさらに備えており、
    　前記シーン推定処理は、前記対応付け情報を参照して前記識別した物体の組み合わせに応じたシーンを推定するものであることを特徴とする請求項２に記載の移動体制御装置。
  4. 　前記移動体装置の位置情報を取得する位置情報取得部をさらに備えており、
    　前記シーン推定処理は、前記撮像画像に加えて、前記位置情報取得部が取得した前記位置情報をさらに参照して前記シーンを推定するものであることを特徴とする請求項１～３の何れか一項に記載の移動体制御装置。
  5. 　前記シーン推定処理は、前記シーンとして、前記移動体装置が配置された部屋を推定するものであることを特徴とする請求項１～４の何れか一項に記載の移動体制御装置。
  6. 　前記シーンと前記動作の対応付けを示す第二の対応付け情報を記憶する第二の対応付け情報記憶部をさらに備えており、
    　前記動作決定処理は、前記第二の対応付け情報を参照して前記推定したシーンに応じた動作を決定するものであることを特徴とする請求項１～５の何れか一項に記載の移動体制御装置。
  7. 　前記動作決定処理は、前記推定したシーンに応じた発話内容を決定するものであり、
    　前記動作制御処理は、前記移動体装置に前記決定した発話内容を発話させることを特徴とする請求項１～６の何れか一項に記載の移動体制御装置。
  8. 　前記動作決定処理は、日時情報を参照して、前記推定したシーンに応じた動作を決定するものであることを特徴とする請求項１～７の何れか一項に記載の移動体制御装置。
  9. 　前記移動体装置に前記決定した動作をさせたことに対するユーザからの反応を検出する反応検出部と、
    　反応記憶部と
    をさらに備え、
    　前記シーン推定処理は、前記撮像画像に含まれる物体を識別し、前記識別した物体の組み合わせに応じたシーンを推定するものであり、
    　前記一つ以上のプロセッサは、
    　前記識別した物体の組み合わせ毎に、前記シーンを区別し、
    　前記反応検出部が検出した反応の種類を、当該反応に対応する前記決定した動作および前記区別したシーンに対応付けて前記反応記憶部に記憶させ、
    　前記動作決定処理は、前記反応記憶部に記憶されている前記区別したシーンに対応付けられた前記反応の種類を参照して、前記推定したシーンに応じた動作を決定するものであることを特徴とする請求項１に記載の移動体制御装置。
  10. 　画像取得部と、一つ以上のプロセッサとを備え、前記画像取得部は、特定の移動体装置の周囲の撮像画像を取得する移動体制御装置の前記一つ以上のプロセッサに、前記画像取得部が取得した撮像画像を参照して前記移動体装置が配置されたシーンを推定するシーン推定処理と、前記推定したシーンに応じた動作を決定する動作決定処理と、前記移動体装置に前記決定した動作をさせる動作制御処理とを実行させるための移動体制御プログラム。
  11. 　特定の移動体装置の周囲の撮像画像を取得する画像取得工程と、
    　前記画像取得工程によって取得した撮像画像を参照して前記移動体装置が配置されたシーンを推定するシーン推定処理工程と、
    　前記シーン推定処理工程において推定したシーンに応じた前記移動体装置の動作を決定する動作決定処理工程と、
    　前記移動体装置に、前記動作決定処理工程において決定した動作をさせる動作制御処理工程と、を包含していることを特徴とする移動体制御方法。
PCT/JP2017/029022 2016-11-08 2017-08-10 移動体制御装置および移動体制御プログラム WO2018087971A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018550031A JP6713057B2 (ja) 2016-11-08 2017-08-10 移動体制御装置および移動体制御プログラム
EP17869547.4A EP3540591A4 (en) 2016-11-08 2017-08-10 CONTROL DEVICE FOR MOVING BODIES AND CONTROL PROGRAM FOR MOVING BODIES
US16/343,727 US11119722B2 (en) 2016-11-08 2017-08-10 Movable body control apparatus and recording medium
CN201780066445.1A CN109906435A (zh) 2016-11-08 2017-08-10 移动体控制装置以及移动体控制程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-218446 2016-11-08
JP2016218446 2016-11-08

Publications (1)

Publication Number Publication Date
WO2018087971A1 true WO2018087971A1 (ja) 2018-05-17

Family

ID=62110619

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/029022 WO2018087971A1 (ja) 2016-11-08 2017-08-10 移動体制御装置および移動体制御プログラム

Country Status (5)

Country Link
US (1) US11119722B2 (ja)
EP (1) EP3540591A4 (ja)
JP (1) JP6713057B2 (ja)
CN (1) CN109906435A (ja)
WO (1) WO2018087971A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020178257A (ja) * 2019-04-19 2020-10-29 東芝ライフスタイル株式会社 遠隔操作システム、遠隔操作端末、遠隔操作プログラム
JP2022021145A (ja) * 2020-07-21 2022-02-02 パナソニックＩｐマネジメント株式会社 自律走行型掃除機、自律走行型掃除機の制御方法、及び、プログラム
US20230326048A1 (en) * 2022-03-24 2023-10-12 Honda Motor Co., Ltd. System, information processing apparatus, vehicle, and method

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6713057B2 (ja) * 2016-11-08 2020-06-24 シャープ株式会社 移動体制御装置および移動体制御プログラム
CN107766303A (zh) * 2017-10-23 2018-03-06 百度在线网络技术（北京）有限公司 向用户提供3d阅读场景
CN114371632A (zh) * 2021-12-29 2022-04-19 达闼机器人有限公司 智能设备控制方法、装置、服务器和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150347853A1 (en) * 2014-05-27 2015-12-03 Samsung Electronics Co., Ltd. Method for providing service and electronic device thereof
JP2016502694A (ja) * 2012-10-04 2016-01-28 ディズニー エンタープライゼス インコーポレイテッド 没入型環境用のインタラクティブ型オブジェクト

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3945356B2 (ja) 2002-09-17 2007-07-18 株式会社デンソー 音声対話装置及びプログラム
US7640164B2 (en) * 2002-07-04 2009-12-29 Denso Corporation System for performing interactive dialog
JP2004227276A (ja) 2003-01-23 2004-08-12 Advanced Telecommunication Research Institute International 人間のコミュニケーション行動記録システムおよび方法
JP2007150681A (ja) 2005-11-28 2007-06-14 Univ Waseda 位置特定システム及び位置特定方法
US20110134204A1 (en) * 2007-12-05 2011-06-09 Florida Gulf Coast University System and methods for facilitating collaboration of a group
US10086265B2 (en) * 2008-07-11 2018-10-02 Disney Enterprises, Inc. Video teleconference object enable system
US8539359B2 (en) * 2009-02-11 2013-09-17 Jeffrey A. Rapaport Social network driven indexing system for instantly clustering people with concurrent focus on same topic into on-topic chat rooms and/or for generating on-topic search results tailored to user preferences regarding topic
JP5560794B2 (ja) * 2010-03-16 2014-07-30 ソニー株式会社 制御装置、制御方法およびプログラム
FR2963132A1 (fr) * 2010-07-23 2012-01-27 Aldebaran Robotics Robot humanoide dote d'une interface de dialogue naturel, methode d'utilisation et de programmation de ladite interface
WO2012148524A1 (en) * 2011-02-15 2012-11-01 Axon Sports, Llc Interactive cognitive recognition sports training system and methods
JP2014137750A (ja) * 2013-01-17 2014-07-28 Hitachi Solutions Ltd 情報処理装置、情報処理システム及び情報処理プログラム
US9826133B2 (en) * 2014-07-23 2017-11-21 Orcam Technologies Ltd. Wearable apparatus with wide viewing angle image sensor
US9855658B2 (en) * 2015-03-19 2018-01-02 Rahul Babu Drone assisted adaptive robot control
CN105760106B (zh) * 2016-03-08 2019-01-15 网易（杭州）网络有限公司 一种智能家居设备交互方法和装置
US10678398B2 (en) * 2016-03-31 2020-06-09 Intel Corporation Prioritization for presentation of media based on sensor data collected by wearable sensor devices
US10068134B2 (en) * 2016-05-03 2018-09-04 Microsoft Technology Licensing, Llc Identification of objects in a scene using gaze tracking techniques
CN105856243A (zh) * 2016-06-28 2016-08-17 湖南科瑞特科技股份有限公司 一种移动智能机器人
JP6713057B2 (ja) * 2016-11-08 2020-06-24 シャープ株式会社 移動体制御装置および移動体制御プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016502694A (ja) * 2012-10-04 2016-01-28 ディズニー エンタープライゼス インコーポレイテッド 没入型環境用のインタラクティブ型オブジェクト
US20150347853A1 (en) * 2014-05-27 2015-12-03 Samsung Electronics Co., Ltd. Method for providing service and electronic device thereof

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3540591A4 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020178257A (ja) * 2019-04-19 2020-10-29 東芝ライフスタイル株式会社 遠隔操作システム、遠隔操作端末、遠隔操作プログラム
JP7278847B2 (ja) 2019-04-19 2023-05-22 東芝ライフスタイル株式会社 遠隔操作システム、遠隔操作端末、遠隔操作プログラム
JP2022021145A (ja) * 2020-07-21 2022-02-02 パナソニックＩｐマネジメント株式会社 自律走行型掃除機、自律走行型掃除機の制御方法、及び、プログラム
JP7417944B2 (ja) 2020-07-21 2024-01-19 パナソニックＩｐマネジメント株式会社 自律走行型掃除機、自律走行型掃除機の制御方法、及び、プログラム
US20230326048A1 (en) * 2022-03-24 2023-10-12 Honda Motor Co., Ltd. System, information processing apparatus, vehicle, and method

Also Published As

Publication number Publication date
US11119722B2 (en) 2021-09-14
EP3540591A1 (en) 2019-09-18
JPWO2018087971A1 (ja) 2019-09-26
CN109906435A (zh) 2019-06-18
US20190272143A1 (en) 2019-09-05
JP6713057B2 (ja) 2020-06-24
EP3540591A4 (en) 2019-12-18

Similar Documents

Publication Publication Date Title
WO2018087971A1 (ja) 移動体制御装置および移動体制御プログラム
US10628714B2 (en) Entity-tracking computing system
CN107644642B (zh) 语义识别方法、装置、存储介质及电子设备
US20210165630A1 (en) Response endpoint selection
EP3622510B1 (en) Intercom-style communication using multiple computing devices
KR20200004359A (ko) 자동으로 액션 그룹을 커스터마이징하도록 구성된 가상 어시스턴트
KR20170080672A (ko) 키 문구 사용자 인식의 증강
CN114391163A (zh) 手势检测系统和方法
US9612688B2 (en) Projection method and electronic device
EP3419020B1 (en) Information processing device, information processing method and program
KR20200024675A (ko) 휴먼 행동 인식 장치 및 방법
WO2018006374A1 (zh) 一种基于主动唤醒的功能推荐方法、系统及机器人
CN110087131A (zh) 电视系统中的电视控制方法及主控终端
CN110570850A (zh) 语音控制方法、装置、计算机设备和存储介质
CN110998718A (zh) 信息处理设备和信息处理方法
US10540542B2 (en) Monitoring
CN115148197A (zh) 语音唤醒方法、装置、存储介质及系统
CN109986553B (zh) 一种主动交互的机器人、系统、方法及存储装置
CN113497912A (zh) 通过语音和视频定位的自动取景
US20180139592A1 (en) Information processing apparatus, information processing method, and program
US10838741B2 (en) Information processing device, information processing method, and program
CN115720659A (zh) 由助理设备基于周围感测来推理助理动作
CN111919250B (zh) 传达非语言提示的智能助理设备
CN115134465A (zh) 文本显示方法及装置、存储介质及电子装置
CN116418611A (zh) 智能设备的交互方法和装置、存储介质及电子装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17869547

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018550031

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017869547

Country of ref document: EP

Effective date: 20190611