WO2015060290A1 - 対話システム及び対話方法 - Google Patents

対話システム及び対話方法 Download PDF

Info

Publication number
WO2015060290A1
WO2015060290A1 PCT/JP2014/077919 JP2014077919W WO2015060290A1 WO 2015060290 A1 WO2015060290 A1 WO 2015060290A1 JP 2014077919 W JP2014077919 W JP 2014077919W WO 2015060290 A1 WO2015060290 A1 WO 2015060290A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
data
display screen
dialogue
party
Prior art date
Application number
PCT/JP2014/077919
Other languages
English (en)
French (fr)
Inventor
貴司 折目
広沢 建二
矢島 浩之
博之 吉田
吏 中野
Original Assignee
大和ハウス工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大和ハウス工業株式会社 filed Critical 大和ハウス工業株式会社
Priority to US15/031,379 priority Critical patent/US9560313B2/en
Publication of WO2015060290A1 publication Critical patent/WO2015060290A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/02Networking aspects
    • G09G2370/022Centralised management of display operation, e.g. in a server instead of locally
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/16Use of wireless transmission of display information

Definitions

  • the present invention relates to a dialogue system constructed for dialogue between remote parties and a dialogue method realized by the system, and in particular, the dialogues are conducted while watching each other's images.
  • the present invention relates to a dialogue system and a dialogue method.
  • Patent Document 1 describes a technology related to video communication in which dialogues take place while looking at each other's video. According to the technology, the dialogue is visible from the position according to the viewpoint position of the conversation person as if the conversation person is looking into each other's space through the window as if the display is a single window. It is possible to display the image of the other party's space on the display (motion parallax) and express the depth.
  • Patent Document 2 describes a communication system that enables communication between different points via a network.
  • the position of a conversation person who is communicating between different points is determined, and based on the determination result, the operation of changing the sensitivity of the microphone with respect to the sound at the position, or from the speaker to the position At least one of the operations for increasing the output sound is executed. Thereby, it becomes easy to hear the voices of those who have a conversation between different points.
  • the present invention has been made in view of the above-described problems, and the purpose of the present invention is that a dialogue operator does not need a complicated operation to perform a dialogue while watching each other's images, and the dialogue is performed. It is an object to provide a dialogue system and a dialogue method that do not let a dialogue person notice the existence of a video display screen during a period when no dialogue is performed. Another object of the present invention is to realize a dialogue with a sense of presence by letting the interlocutors feel as if they are in the same space (in the room).
  • the subject has a first unit possessed by a conversation person and a second unit possessed by the other conversation person, and the conversation person and the other conversation person
  • a dialogue system constructed to execute a dialogue between the first unit and (A) the first unit: (a1) first data generation that generates (a1) first data indicating an image when the conversation person is imaged; And (a2) a first data transmission unit that transmits the first data to the second unit, (B) the second unit (b1) transmits the first data through a communication line.
  • a first data receiving unit for receiving, (b2) a first data developing unit for displaying the received data on the display screen by developing the received first data, and (b3) performing by the other party dialoger Action, location of the other party
  • a detection unit that detects the detection target satisfying a preset condition when at least one of a posture of a hand-side conversation person and a sound emitted by the opponent conversation person is set as a detection target;
  • a display screen forming unit that forms part of the building material, furniture, or decoration arranged in the building where the other-party talker is located and forms the display screen; and (b5) the display formed by the display screen forming unit.
  • a second data generation unit that generates second data indicating an image of the other party who is in front of the screen, and (b6) a second data that transmits the second data to the first unit.
  • the display screen forming unit does not form the display screen during a period in which the detection unit does not detect the detection target that satisfies the condition, and the appearance as the part And the detector is Only during the period in which to detect the condition is satisfied the detection target is solved by forming the display screen.
  • the dialogues are conducted while watching each other's video, and when the other party's dialogue is viewed by the other party's dialogue, the display screen is displayed on the display screen forming unit possessed by the other party's dialogue. Will be formed.
  • the detection target is at least one of the action performed by the other party talker, the position where the other party talker is located, the attitude of the other party talker, and the sound emitted by the other party talker. Sometimes it is triggered to detect a detection target that satisfies a preset condition.
  • the display is performed.
  • the screen forming unit does not form a display screen, but instead shows an appearance as a part of building material, furniture, or decoration arranged in the building where the other party is located.
  • the display screen forming unit functions as a building material or the like during a period in which no dialogue is being performed, so that the display screen is less noticeable in the building, and thus its presence is difficult to notice.
  • the first data generation unit generates the first data indicating the conversation person's video and the conversation person's voice
  • the first data reception unit receives the first data.
  • the first data expansion unit expands the first data and reproduces the voice of the conversation person
  • the detection unit is configured to reproduce the voice of the conversation person while the first data development part reproduces the voice of the conversation person.
  • the display screen forming unit forms the display screen, and then the first data developing unit displays the video of the conversation person on the display screen.
  • the first data developing unit develops the first data to reproduce the voice of the conversation person.
  • the other party interactor Upon receiving this voice, the other party interactor acts as a reaction to perform a predetermined action, move to a predetermined position, take a predetermined posture, or emit a predetermined sound.
  • the display screen forming unit forms a display screen using this as a trigger.
  • the voice that the interlocutor calls the other party's dialogue is converted into data, transmitted, the above-mentioned voice is reproduced on the other party's side, and the other party's dialogue person responds to the voice.
  • the display screen is formed in conjunction with this. With the above procedure, the process related to the dialogue is started smoothly.
  • the first unit includes a second data receiving unit that receives the second data through the communication line, and an image of the other party interactive person by expanding the received second data. Is formed on the first unit side display screen, and a part of the building material, furniture, or decoration arranged in the building where the interlocutor is located, and forms the first unit side display screen.
  • the first unit side display screen forming unit and a preset screen forming condition are not satisfied, the first unit side display screen forming unit does not form the first unit side display screen as the part.
  • the screen formation condition it is more preferable that the first unit side display screen forming unit forms the first unit side display screen.
  • the display screen forming unit (the first unit side display screen forming unit) is provided for the communication unit held by the conversation party as well as the communication unit owned by the other party conversation person.
  • the section does not form a display screen while no dialogue is taking place, but instead shows the appearance as part of building material, furniture or decoration placed in the building where the other party is located. Therefore, during the period when there is no dialogue, the display screen forming unit functions as a building material etc. in both the interlocutor and the other party, and as a result, each display screen becomes inconspicuous in the building and exists. Becomes difficult to notice.
  • the first unit is configured to select the second unit of the candidate designated as the other party talker by the talker when there are a plurality of candidates as the other party talker. It is even more preferable that a specifying unit to be specified is further provided, and the first data transmitting unit transmits the first data toward the second unit specified by the specifying unit.
  • the communication unit (first unit) possessed by the interlocutor identifies the communication unit (second unit) of the candidate designated by the interlocutor from among a plurality of candidates who are the other-side talkers, It will communicate with the identified unit. Thereby, even if there are a plurality of candidates, the dialog person can talk with the candidate designated by himself / herself as the other-side dialog person.
  • the first data generation unit generates the first data indicating the whole body image of the conversation person, the video of the surrounding space of the conversation person, and the voice of the conversation person, and the first data It is further preferable that the two-data generating unit generates the second data indicating the whole body image of the other party conversation person, the image of the surrounding space of the other party conversation person, and the voice of the other party conversation person.
  • the interlocutors can talk with each other while watching each other's whole body image and the image of the surrounding space.
  • each conversation person can perform a conversation while feeling as if he / she is in the same space as the other party, thereby realizing a more realistic conversation.
  • the above-described problem is caused by the first unit held by the dialogue person and the second unit held by the other party dialogue person between the dialogue person and the other party dialogue person.
  • a first data generation unit included in the first unit generates first data indicating an image when the conversation person is imaged; and
  • the second unit is The detection unit is configured to detect at least one of an action performed by the other-party talker, a position where the other-party talker is present, a posture of the other-party talker, and a sound emitted by the other-party talker.
  • a step of detecting the detection target satisfying a preset condition (F) a step of forming a display screen by a display screen forming unit included in the second unit, and (G) the second unit.
  • a second data generation unit comprising: generating second data indicating an image when the other-party talker is imaged in front of the display screen formed by the display screen forming unit; and (I) A second data transmission unit included in the second unit includes a step of transmitting the second data toward the first unit, and (J) the detection unit detects the detection target that satisfies the condition.
  • the display screen is not in the period
  • the step of forming the display screen is not performed by the forming unit, and the display screen forming unit shows an appearance as a part of building material, furniture, or decoration arranged in the building where the other party talker is located, (K)
  • the problem is solved by performing the step of forming the display screen by the display screen forming unit only during a period in which the detection unit detects the detection target that satisfies the condition.
  • a display screen for displaying a conversation person's video is formed using detection of a detection target that satisfies a preset condition as a trigger.
  • the display screen forming unit does not form a display screen while the dialogue between the dialogue partner and the other party dialogue person is not performed, and the inside of the building where the other party dialogue person is located. Appears as part of the placed building material, furniture or decoration. As a result, it is difficult to notice the presence of the display screen during a period in which no dialogue is performed.
  • the present invention when interacting with each other while watching each other's video on the display screen, no complicated operation is required, and it is difficult to notice the presence of the display screen during the period when the conversation is not performed. It is possible.
  • a single person living away from a family can pseudo-reunite and talk with the family in the family's living space, or a doctor can remotely It becomes possible to go to the patient's house on the ground in a pseudo manner and to interview the patient.
  • the audiovisual effect is as if they are having a conversation in the same space (room) as the other party's conversation person. Can be obtained.
  • 1A and 1B are image diagrams relating to the interactive method of the present invention. It is a conceptual diagram about the dialog system of this invention. It is a block diagram which shows the structural example of the 1st unit of this invention, or a 2nd unit. 4A and 4B are views showing an example of the display screen forming unit of the present invention. It is a figure which shows the flow of the process performed by the dialogue system of this invention (the 1). It is a figure which shows the flow of the process performed by the dialogue system of this invention (the 2). It is a figure which shows an example of the input screen for designating the other party dialogue party.
  • the conversation person is Mr. A and the other party conversation person is Mr. B will be described below as a specific example.
  • the “dialogue” is a person who starts a dialogue based on his / her own idea and talks to the other-side dialogue person.
  • the “other party talker” is a person who responds and talks when talked to by the talker.
  • dialogue and “other-party talker” are the differences in the position of the talker and the talkee, and even if they are “dialogues” at some point, If it is spoken to another person at that time, it becomes a "partner dialog”.
  • a home will be described as an example of a building where a dialoguer (the other party dialoguer) is located.
  • the home is merely an example of a building, and the building other than the home may be a public facility such as a hospital or a school, a company or an office building, a building such as a study school or a culture school.
  • FIG. 1 is an image diagram relating to the dialogue method of the present invention.
  • FIG. 1A is a view seen from the side of Mr. A who is a talker
  • FIG. 1B is a counterpart talker. It is the figure seen from Mr. B side.
  • Mr. A As shown in FIG. 1A, Mr. A's full-length image of Mr. B projected on a display installed at home and It is possible to talk with Mr. B while watching the video of the surrounding space (residential space). Similarly, Mr. B interacts with Mr. A while viewing the full-length image of Mr. A and the surrounding space (residential space) projected on the display installed at home.
  • the “whole body image” is the appearance of the entire body from the head to the foot, and may be in a standing state or a sitting state, and partly hidden by an object placed in front. It is a concept that includes the state of being.
  • FIG. 2 is a conceptual diagram of the system S.
  • the present system S including the communication units 1 and 2 is a system constructed for executing a realistic dialogue between the interlocutors.
  • a relay server proxy server
  • the communication units 1 and 2 are interposed between the communication units 1 and 2, and the data transmitted and received by each communication unit 1 and 2 is relayed through the server. It is supposed to be.
  • the communication unit 1 installed in Mr. A's home corresponds to the first unit of the present invention
  • the communication unit 2 installed in Mr. B's home corresponds to the second unit of the present invention. Since both the communication units 1 and 2 have the same configuration, only the configuration of one communication unit (specifically, the communication unit 2 on the B side) will be described below. I will do it.
  • FIG. 3 is a block diagram illustrating a configuration example of the communication unit 2.
  • the controller 10 is a device that plays a central role in the communication unit 2, and as shown in FIG. 3, a CPU 11, a memory 12 including a ROM and a RAM, a hard disk drive 13 (denoted as HDD in FIG. 3), and a communication interface 14 (shown in FIG. 3). 3 includes a communication I / F) and an I / O port 15.
  • the controllers 10 communicate with an external device (communication terminal) connected to the communication line 3 via the router 20, and data received from the device is stored in the memory 12 or the hard disk drive 13. ing.
  • the devices that communicate with the controller 10 include the controller 10 provided in the communication unit 1 on the other side.
  • the memory 12 stores a program for executing a series of data processing related to dialogue (hereinafter, dialogue program).
  • dialogue program a program for executing a series of data processing related to dialogue
  • various data required for the dialogue are generated and transmitted to the communication unit 1 as the transmission destination, or the data received from the communication unit 1 as the transmission source is transmitted.
  • Information that is expanded and indicated by the data is notified to the user (the owner of the controller 10).
  • Various processes executed by the controller 10 will be specifically described in later sections.
  • the sound collecting device 21 is a device that collects a voice spoken by a user or a sound to be emitted, and includes a known device such as a microphone.
  • the sound collecting device 21 outputs a sound signal indicating the collected sound, and the sound signal is input to an I / O port 15 provided in the controller 10.
  • the imaging device 22 is a device that captures an image of the user, and includes a known device such as a video camera.
  • the imaging device 22 is arranged at a position where the entire image of the user and the surrounding space can be captured.
  • the imaging device 22 according to the present embodiment is set at a position where the entire image of the user and the surrounding space can be captured when the user stands in front of a display described later.
  • the imaging device 22 outputs a video signal indicating the captured video, and the video signal is input to the I / O port 15 provided in the controller 10.
  • the human sensor 23 detects the presence of a person (user) in the detection area and outputs a signal indicating the detection result to the controller 10. That is, the human sensor 23 corresponds to an example of the detection unit of the present invention, and the position where the conversation person (the other party talker) is present is the detection target, and the conversation person (the other party side) within the detection area of the human sensor 23. Detect the position of the (interactor). As the human sensor 23, a known device can be used. Moreover, in this embodiment, the human sensor 23 is arrange
  • the sound playback device 24 is a device for playing back sound, and is configured by a known device such as a speaker.
  • the audio reproduction device 24 receives a reproduction execution command output from the controller 10 when the controller 10 expands the audio data, and reproduces the audio indicated by the audio data according to the command.
  • the display is a device that forms a display screen for displaying an image. More precisely, the display provided in the communication unit 2 on the B side corresponds to a display screen forming unit of the present invention. On the other hand, the display provided in the communication unit 1 on the A side corresponds to the first unit side display screen forming unit of the present invention, and the display screen formed by the display corresponds to the first unit side display screen. . Then, the display receives a video display command output from the controller 10 when the controller 10 develops the video data, and accordingly, the video indicated by the video data is displayed on the display screen on the display. It becomes like this.
  • FIG. 4 is a diagram showing a display according to the present embodiment, where FIG. 4A shows a non-interactive state when no dialogue is performed, and FIG. It shows the state at the time of dialogue.
  • the display according to the present embodiment constitutes a part of the appearance arranged in the home where the conversation person (the other party's conversation) is located, specifically, a mirror surface part. As shown in Fig. 2, the appearance as a mirror surface is shown without forming a display screen during non-interaction. On the other hand, the display according to the present embodiment forms a display screen and displays an image on the display screen as shown in FIG.
  • the display according to the present embodiment is configured by the display / mirror 25, and the display screen can be freely formed and erased.
  • the display / mirror 25 includes a control circuit 25a and a light emitting unit 25b as shown in FIG.
  • the control circuit 25a receives a display screen formation command output from the controller 10 and turns on the light emitting unit 25b according to the command, a display screen is formed on the mirror surface portion of the display / mirror 25.
  • the control circuit 25a holds the light emitting unit 25b in an unlit state, so that the mirror surface portion of the display / mirror 25 exhibits its original appearance. become.
  • the display-use mirror 25 that forms a display screen at the time of dialogue functions as an appearance during non-dialogue when no dialogue is performed, so that it becomes difficult to stand out in the home of the dialoguer (the other party dialoguer).
  • the presence of the display screen becomes difficult to notice.
  • a well-known structure can be utilized like the structure described in international publication 2009/122716, for example.
  • dialog data generation processing the signals received by the controller 10 from the sound collection device 21 and the imaging device 22 via the I / O port 15, specifically, audio signals and video signals are respectively digitalized.
  • audio data and video data are generated by encoding the data
  • dialogue data is generated by multiplexing these two data.
  • the generated dialogue data is temporarily stored in a predetermined area of the memory 12 included in the controller 10.
  • the dialogue data generated by the controller 10 on the side of Mr. A who is a dialogue person corresponds to the first data of the present invention.
  • the data indicates the voice (speaking voice) of Mr. A collected by the sound device 21. That is, in the controller 10 on the A side, the CPU 11 and the memory 12 constitute a first data generation unit that generates interaction data corresponding to the first data by cooperating with the interaction program.
  • the dialogue data generated by the controller on the side of Mr. B who is the other-side talker corresponds to the second data of the present invention
  • the video of Mr. B captured by the imaging device 22 and the sound collecting device 21 collects the sound. B's voice (speaking voice). That is, in the controller 10 on the B-side, the CPU 11 and the memory 12 constitute a second data generation unit that generates dialog data corresponding to the second data by cooperating with the dialog program.
  • the imaging device 22 has the whole body of Mr. A or Mr. B when Mr. A or Mr. B is standing in front of the display screen formed by the display / mirror 25. An image and its surrounding space are imaged. Therefore, the above dialogue data is data indicating the whole body image of Mr. A or Mr. B who is in front of the display screen formed by the display / mirror 25 and the image of the surrounding space.
  • the dialog data transmission process is a process for transmitting the dialog data generated by the above-described dialog data generation process to the communication units 1 and 2 that are transmission destinations. That is, in this process, the CPU 11 reads out the conversation data stored in the memory 12 and transmits the conversation data via the communication interface 14 and the router 20.
  • the CPU 11, the memory 12, the communication interface 14, and the router 20 constitute a data transmission unit in cooperation with the dialogue program. More specifically, the CPU 11, the memory 12 and the communication interface 14 of the controller 10 on the Mr. A side together with the router 20 constitute a first data transmission unit, and the CPU 11, the memory 12 and the communication interface 14 of the controller 10 on the Mr. B side.
  • the interface 14 forms a second data transmission unit together with the router 20.
  • the dialog data receiving process is a process for receiving the dialog data sent from the communication units 1 and 2 as the transmission source via the communication line 3. That is, in this process, the CPU 11 receives conversation data from the communication line 3 via the communication interface 14 and the router 20.
  • the CPU 11, the memory 12, the communication interface 14, and the router 20 constitute a data receiving unit by cooperating with the dialogue program.
  • the CPU 11, the memory of the controller 10 on the Mr. B side 12 and the communication interface 14 constitute a first data transmission unit together with the router 20, and the CPU 11, the memory 12 and the communication interface 14 of the controller 10 on the Mr. A side constitute a second data reception unit together with the router 20.
  • the received dialogue data is stored in a predetermined area of the memory 12 of the controller 10 or the hard disk drive 13.
  • the dialog data expansion process extracts video data and audio data from the dialog data received in the above-described dialog data reception process, and causes the audio reproduction device 24 to reproduce the audio indicated by the audio data. At the same time, it is a process of displaying the video indicated by the video data on the display screen formed on the display / mirror 25. This process is executed when the controller 10 controls the audio reproduction device 24 and the display / mirror 25 by the function of the interactive program. That is, the CPU 11, the memory 12, the sound reproducing device 24, and the display / mirror 25 constitute a data expansion unit in cooperation with the dialogue program.
  • the CPU 11, the memory 12, the sound reproduction device 24, and the display combined mirror 25 develop the conversation data corresponding to the first data by cooperating with the conversation program.
  • a first data expansion unit is configured to display Mr. A's whole body image and video of the surrounding space on the display screen, and reproduce the voice of Mr. A by the audio reproduction device 24.
  • the CPU 11, the memory 12, the sound reproduction device 24, and the display-use mirror 25 cooperate with the dialogue program to develop second data that develops dialogue data corresponding to the second data.
  • the developing unit is configured to display Mr. B's whole body image and video of the surrounding space on the display screen, and to reproduce Mr. B's voice by the voice reproduction device 24.
  • the dialog data expansion process will be described in more detail.
  • the CPU 11 reads out the dialog data stored in the memory 12 or the hard disk drive 13
  • the dialog data is divided by the function of the dialog program, and video data and audio data are extracted.
  • the extracted video data and audio data are each decoded by the function of the interactive program.
  • the CPU 11 expands the decoded voice data to generate a playback execution command for playing back the voice indicated by the voice data, specifically, the voice of the talker (the other party talker).
  • the CPU 11 outputs the generated reproduction execution command to the audio reproduction device 24, and the audio reproduction device 24 reproduces the sound indicated by the audio data according to the instruction.
  • the CPU 11 expands the decoded video data, and thereby displays the video indicated by the video data (that is, the whole body image of the conversation person (the other party conversation person) and the surrounding space) on the display-use mirror 25. Display on the formed display screen. Specifically, the CPU 11 generates a display command (video display command) related to the video and outputs the command to the display / mirror 25. In the display / mirror 25, when the video display command is received, the control circuit 25a controls the light emitting unit 25b according to the command. As a result, the full-length image of the conversation person (partner conversation person) and the image of the surrounding space are displayed on the display screen formed on the display / mirror 25.
  • a display command video display command
  • the control circuit 25a controls the light emitting unit 25b according to the command.
  • the display screen formation command processing generates a display screen formation command triggered by the screen formation condition being satisfied in the state where the display mirror 25 does not form a display screen. This is a process of outputting to the display / mirror 25.
  • the screen formation condition is set in advance as a condition for forming a display screen on the display / mirror 25.
  • the person who is in the detection area of the human sensor 23 (the other party) The screen forming condition is to detect the position of the conversation person).
  • the detection area of the human sensor 23 is set to a position that is slightly closer to the front position of the display / mirror 25, for example, the position where the user stands when using the display / mirror 25 as an appearance. ing. Therefore, as shown in FIG. 4 (B), when the conversation person (the other party conversation person) is located closer to the display mirror 25 than usual, the human sensor 23 A position of a conversation person (an opponent conversation person) in the detection area is detected, and a signal indicating the detection result (hereinafter referred to as a detection signal) is output to the controller 10.
  • a detection signal indicating the detection result
  • the CPU 11 executes the interactive program, generates a command (display screen formation command) that causes the display / mirror 25 to form a display screen, and displays the command. Output toward the dual-purpose mirror 25.
  • the control circuit 25a turns on the light emitting unit 25b in accordance with the display screen formation command.
  • a display screen is formed on the mirror surface portion of the display-use mirror 25 that has been shown as an appearance.
  • the CPU 11 and the memory 12 of the controller 10 constitute a display screen formation command output unit in cooperation with the dialogue program, and a dialogue person (an opponent dialogue person) in which the human sensor 23 is in the detection area. Triggering the detection of the position of the display screen, a display screen formation command is generated and output to the display / mirror 25.
  • the display-use mirror 25 is held in a state in which a display screen is formed while the human sensor 23 continues to detect the position of the conversation person (the other party talker) in the detection area. Is done.
  • the display-use mirror 25 erases the display screen and shows the appearance as the appearance on the mirror surface portion. . That is, in the present embodiment, the display mirror 25 does not form a display screen during the period when the human sensor 23 does not detect the position of the conversation person (the other party talker) in the detection area. The mirror part will appear as part of the appearance.
  • the display / mirror 25 forms a display screen only during a period in which the human sensor 23 detects the position of the conversation person (the other party conversation person) in the detection area.
  • a display screen when a display screen is formed on the display / mirror 25, it starts to capture a whole body image of a conversation person (an opponent conversation person) located in front of the mirror 25 and an image of the surrounding space, It is supposed to start collecting the voices uttered by the above-mentioned dialoguer (the other-side dialogue person). That is, in the present embodiment, when the human sensor 23 detects the position of the conversation person (the other party conversation person) in the detection area, the image pickup by the image pickup apparatus 22 and the sound collection by the sound collection apparatus 21 are triggered. Be started. In addition, the controller 10 executes dialogue data generation processing in conjunction with this, and generates dialogue data based on output signals from the imaging device 22 and the sound collection device 21. Further, after the generation of the dialog data is completed, the controller 10 executes a dialog data transmission process, and transmits the generated dialog data to the communication units 1 and 2 on the other side.
  • the dialogue method according to the present embodiment is realized by dialogue processing executed by the system S. Specifically, the communication units 1 and 2 of the dialogue person and the other-side dialogue person are shown in FIGS. This is realized by sequentially proceeding with data processing. 5 and 6 are diagrams showing the flow of interactive processing executed by the system S.
  • the dialogue process starts when Mr. A moves to the front of the display / use mirror 25 installed in his home and the human sensor 23 detects the position of Mr. A in the detection area (S001). ).
  • the controller 10 provided in the communication unit 1 on the A side receives the signal indicating the detection result by the human sensor 23 via the I / O port 15 (Yes in S001)
  • the display screen is formed.
  • Perform instruction processing Thereby, the display combined mirror 25 in Mr. A's house transitions from a state in which the mirror surface portion shows the appearance of appearance, and a display screen is formed on the mirror surface portion (S002).
  • the display screen is a predetermined standby screen.
  • the sound collecting device 21 and the image pickup device 22 are activated in accordance with the execution of the display screen formation command, whereby the whole body image of A and the surrounding space are picked up, and the voice of Mr. A is collected. (S003).
  • the controller 10 provided in the communication unit 1 on the side of Mr. A executes dialogue data generation processing, generates dialogue data based on output signals from the sound collection device 21 and the imaging device 22, and further includes dialogue data.
  • a transmission process is executed, and the generated dialogue data is transmitted to the communication unit 2 on the B side (S004).
  • the controller 10 receives the above dialogue data via the communication interface 14 (S005), and executes dialogue data expansion processing in conjunction with this.
  • voice data is extracted from the conversation data, and the voice indicated by the voice data is played back by the voice playback device 24 (S006).
  • Mr. A's voice for example, a voice that Mr. A calls Mr. B, is reproduced in Mr. B's house.
  • Mr. B moves to the front of the display / mirror 25 installed in Mr. B's house in a form that reacts to the voice.
  • Mr. B's house when the human sensor 23 detects the position of Mr. B in the detection area while the controller 10 reproduces Mr. A's voice (S007), the controller 10 detects the I / O port. 15, a signal indicating the detection result by the human sensor 23 is received, and display screen formation command processing is executed accordingly.
  • the display / mirror 25 in Mr. B's house transitions from a state in which the mirror surface portion shows an appearance as a appearance, and a display screen is formed on the mirror surface portion (S008).
  • the controller 10 provided in the communication unit 2 on the B side continues the conversation data expansion process. At this time, the controller 10 extracts audio data and video data from the conversation data and develops both data. That is, the controller 10 reproduces the audio indicated by the extracted audio data by the audio reproduction device 24 and displays the video indicated by the extracted video data on the display screen (S009). As a result, Mr. A's voice is reproduced in Mr. B's house, and a full-length image of Mr. A and an image of the surrounding space are displayed on the display screen.
  • the sound collecting device 21 and the image pickup device 22 are also operated in the house of Mr. B.
  • the whole body image of Mr. B and the image of the surrounding space are taken. Are collected (S010).
  • the controller 10 provided in the communication unit 2 on the side of Mr. B executes dialogue data generation processing, generates dialogue data based on output signals from the sound collection device 21 and the imaging device 22, and further includes dialogue data.
  • a transmission process is executed, and the generated dialogue data is transmitted to the communication unit 1 on the A side (S011).
  • the controller 10 executes a dialog data expansion process in conjunction with this.
  • the controller 10 extracts audio data and video data from the received dialogue data, and develops both data. That is, the controller 10 reproduces the audio indicated by the extracted audio data by the audio reproducing device 24, and displays the video indicated by the extracted video data on the display screen (S013).
  • Mr. B's voice is reproduced in Mr. A's house, and the whole body image of Mr. B and the image of the surrounding space are displayed on the display screen that has been in the standby state.
  • the processing relating to the generation, transmission / reception, and expansion of the dialogue data described above is repeated in each of the communication units 1 and 2. Then, when the human sensor 23 no longer detects a person in the detection area at the home of either A or B (S014, S015), the dialogue processing ends. More specifically, at the home where the human sensor 23 no longer detects a person, the display screen formed on the display / mirror 25 is erased, and the sound collecting device 21 and the imaging device 22 are stopped.
  • the human sensor 23 that detects the position of the conversation person (partner conversation person) is cited, and the display screen is formed / erased according to the detection result of the human sensor 23. It was decided to switch.
  • a device other than the human sensor 23 may be used.
  • the detection unit includes an operation performed by a conversation person (the other party conversation person), a position where the conversation person (the other party conversation person) exists, and a posture of the conversation person (the other party conversation person).
  • any detection target that satisfies a preset condition may be used.
  • a sound sensor that reacts to human footsteps or speaking voice may be employed as the detection unit, and a display screen may be formed when a sound with a predetermined volume or higher is detected.
  • a known configuration such as the configuration described in Japanese Patent Application Laid-Open No. 2013-73505 and Japanese Patent Application Laid-Open No. 2005-78347 can be used.
  • the display / mirror 25 that functions as an appearance is shown as an example of the display screen forming unit in a normal time (non-interactive time), but is not limited thereto.
  • the display screen forming unit may be other than the appearance, constitutes a part of building materials, furniture or decorations arranged in each person's home, and displays according to the detection result of the detection unit Any screen can be used as long as the screen can be freely formed and erased.
  • a building material constituting a door or an inner wall of the house, or furniture such as a chiffon may be employed as the display screen forming unit.
  • the display / display mirror 25 on the dialogue side forms a display screen, but until the dialogue data is transmitted from the other side dialogue party,
  • the display screen is assumed to be a standby screen on which the other party's video is not displayed.
  • the present invention is not limited to this, and until the other party's dialogue data is sent, the video data in the dialogue data received in the past is expanded, etc.
  • the video may be displayed on the display screen.
  • the video displayed on the display screen formed on the display / mirror 25 it is common to display a real-time video (including video with a delay of about several seconds for the convenience of data transmission / reception).
  • a real-time video including video with a delay of about several seconds for the convenience of data transmission / reception.
  • the video data captured in the past may be displayed on the display screen by expanding the video data in the conversation data received in the past.
  • the present invention is not limited to this, and the present invention can also be applied to a case where there are a plurality of candidates for the other party interactor.
  • the dialogue person designates one of them as the other party's dialogue person, and the designation result Is stored in the communication unit 1 of the interlocutor.
  • the interlocutor activates predetermined application software on a PC, a smartphone, or a tablet terminal (hereinafter referred to as an input terminal) (not shown) owned by the interlocutor.
  • an input terminal hereinafter referred to as an input terminal
  • the setting screen illustrated in FIG. 7 is drawn on the screen of the input terminal.
  • the controller 10 of the communication unit 1 Based on the data received from the input terminal, the controller 10 of the communication unit 1 identifies the candidate communication unit 2 designated by the interlocutor as the other party interlocutor, and strictly speaking, the MAC assigned to the communication unit 2. Identify the address.
  • Such processing involves the CPU 11, the memory 12 and the communication interface 14 provided in the controller 10, and is realized by the function of the interactive program.
  • the CPU 11, the memory 12 and the communication interface 14 of the controller 10 provided in the communication unit 1 on the dialog party side cooperate with the dialog program so that the candidate designated as the other party dialog person by the dialog person can be selected.
  • the specific part which specifies the communication unit 2 provided is comprised.
  • the controller 10 of the communication unit 1 transmits the generated dialogue data to the specified communication unit 2. Thereafter, data communication is performed between the communication units 1 and 2 in the same procedure as in the above-described embodiment, and a series of processing (interactive processing) related to dialog is thereby performed. If it is the above structure, it will become possible for a dialogue person to set up the candidate who he specified as an other party dialogue person certainly in carrying out a dialogue. Note that the designation of the other party talker is not limited to the case where it is performed through the setting screen shown in FIG. 7, but other methods (for example, a method of designating the other party talker by adopting voice input). It is good also as using.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)

Abstract

 対話者同士がお互いの映像を見ながら対話を行うのに複雑な操作を要さず、非対話時には映像の表示画面の存在を気付かせないようにする。 対話者の第1ユニットは、対話者の映像を示す第1データを生成して送信し、相手側対話者の第2ユニットは、通信回線を通じて受信した第1データを展開することで対話者の映像を表示画面に映し出すとともに、表示画面の前に居る相手側対話者の映像を示す第2データを生成して送信する。また、第2ユニットは、相手側対話者が宅内の所定位置に居ることを検知する人感センサと、姿見として機能するとともに表示画面を形成するディスプレイ兼用ミラー25とを有する。そして、ディスプレイ兼用ミラー25は、相手側対話者が所定位置に居ることを人感センサが検知していない期間には表示画面を形成せずに姿見の一部分としての外観を現し、人感センサが検知している期間にのみ表示画面を形成する。

Description

対話システム及び対話方法
 本発明は、遠隔地にいる対話者同士が対話を行うために構築された対話システム、及び、同システムにより実現される対話方法であって、特に、対話者同士がお互いの映像を見ながら対話を行うための対話システム及び対話方法に関する。
 互いに遠隔地にいる者同士が対話を行うための通信技術は、既に周知であり、その一例としてビデオチャットやテレビ電話等が挙げられる。また、近年では、より臨場感のある対話を実現するための技術も開発されている(例えば、特許文献1及び2参照)。
 特許文献1には、対話者同士がお互いの映像を見ながらコミュニケーションを取る映像コミュニケーションに関する技術が記載されている。当該技術によれば、ディスプレイを1枚の窓に見立てて、対話者があたかも対話相手の空間を窓越しに互いに覗いているかのように、対話者の視点位置に応じて、その位置から見える対話相手の空間の映像をディスプレイに表示すること(運動視差)を実現し奥行き表現を行うことが可能である。
 特許文献2には、ネットワークを介して異なる地点間のコミュニケーションを可能とするコミュニケーションシステムが記載されている。当該システムでは、異なる地点の間においてコミュニケーションをとっている対話者の位置を判定し、その判定結果に基づいて、当該位置の音声に対するマイクロフォンの感度を変更する動作、又は当該位置に対してスピーカーから出力される音声を大きくする動作の少なくとも何れかの動作を実行する。これにより、異なる地点間で対話をする者同士の声が聞こえ易くなる。
特開2011-113206号公報 特開2009-60220号公報
 以上のように臨場感のある対話を実現する遠隔通信技術については、既に開発されてきている一方で、より操作性に優れた技術、分かり易くは、ユーザ(対話者)にとって利用し易い技術であることが求められている。特に、パソコン等の通信端末において複雑な設定作業を要する場合には、例えば児童や高齢者にとって扱い難いシステムとなってしまう。これに対して、前述の特許文献1及び2では、対話を開始する上で対話者がどのような操作を行うのかについての記載がなく、当該操作の難しさ次第では、同特許文献に開示された技術がユーザにとって利用し難いものとなっている可能性もある。
 また、対話者同士がお互いの映像をディスプレイにて見ながら対話を行う場合、対話が行われていない期間中はディスプレイに映像が表示されず、このように映像が表示されていない状態のディスプレイが設置されているスペースについては無用なスペースになってしまう。
 さらに、対話における臨場感を更に向上させる上で、対話者同士があたかも同じ空間に居るかのように感じられる技術が求められている。ここで、特許文献1に記載の技術によれば、対話者同士が互いにディスプレイ越しに覗き合っているような感覚を持つものの、ディスプレイ越しであるので異なる空間(部屋)に居るような感覚を持ってしまう。
 そこで、本発明は、上記の課題に鑑みてなされたものであり、その目的とするところは、対話者同士がお互いの映像を見ながら対話を行うにあたり複雑な操作を要さず、かつ、対話を行っていない期間には映像の表示画面の存在を対話者に気付かせない対話システム及び対話方法を提供することである。
 また、本発明の他の目的は、上記の対話システムにおいて、対話者同士が同じ空間(室内)に居るように感じさせることで臨場感のある対話を実現することである。
 前記課題は、本発明の対話システムによれば、対話者が保有する第1ユニットと、相手側対話者が保有する第2ユニットと、を有し、前記対話者と前記相手側対話者との間の対話を実行するために構築された対話システムであって、(A)前記第1ユニットは、(a1)前記対話者を撮像した際の映像を示す第1データを生成する第1データ生成部と、(a2)前記第1データを前記第2ユニットに向けて送信する第1データ送信部と、を備え、(B)前記第2ユニットは、(b1)通信回線を通じて前記第1データを受信する第1データ受信部と、(b2)受信した前記第1データを展開することで前記対話者の映像を表示画面に映し出す第1データ展開部と、(b3)前記相手側対話者が行う動作、前記相手側対話者が居る位置、前記相手側対話者の姿勢及び前記相手側対話者が発する音のうちの少なくとも一つを検知対象としたときに、予め設定された条件を満たす前記検知対象を検知する検知部と、(b4)前記相手側対話者が居る建物内に配置された建築材料、家具若しくは装飾品の一部分を構成し、前記表示画面を形成する表示画面形成部と、(b5)該表示画面形成部が形成した前記表示画面の前に居る前記相手側対話者を撮像した際の映像を示す第2データを生成する第2データ生成部と、(b6)前記第2データを前記第1ユニットに向けて送信する第2データ送信部と、を備え、(C)前記表示画面形成部は、前記検知部が前記条件を満たす前記検知対象を検知していない期間には前記表示画面を形成せずに前記一部分としての外観を現し、前記検知部が前記条件を満たす前記検知対象を検知している期間にのみ前記表示画面を形成することにより解決される。
 上記の対話システムでは、対話者同士はお互いの映像を見ながら対話を行うこととし、対話者の映像を相手側対話者が見るにあたっては、相手側対話者が保有する表示画面形成部に表示画面を形成させることになる。一方、表示画面の形成については、相手側対話者が行う動作、相手側対話者が居る位置、相手側対話者の姿勢及び相手側対話者が発する音のうちの少なくとも一つを検知対象としたときに、予め設定された条件を満たす検知対象を検知することをトリガーとする。このように上記の対話システムでは、表示画面の形成に要する操作として特段複雑な操作を要さず、相手側対話者は、簡便な方法で対話者の映像を見ることが可能となる。
 また、上記の対話システムでは、予め設定された条件を満たす上記の検知対象を検知していない期間中、換言すると、対話者と相手側対話者との間の対話が行われていない間、表示画面形成部は表示画面を形成せず、その代わりに、相手側対話者が居る建物内に配置された建築材料、家具若しくは装飾品の一部分としての外観を現すようになる。これにより、対話が行われていない期間中には、表示画面形成部が建築材料等として機能するため、表示画面については、建物内で目立ち難くなる結果、その存在が気付き難くなる。
 また、上記の対話システムにおいて、前記第1データ生成部は、前記対話者の映像と前記対話者の音声を示す前記第1データを生成し、前記第1データ受信部が前記第1データを受信すると、前記第1データ展開部が前記第1データを展開して前記対話者の音声を再生し、前記第1データ展開部が前記対話者の音声を再生している間に前記検知部が前記条件を満たす前記検知対象を検知すると、前記表示画面形成部が前記表示画面を形成した上で、前記第1データ展開部が前記対話者の映像を前記表示画面に映し出すと、好適である。
 上記の構成では、第1データ受信部が第1データを受信すると、先ず、第1データ展開部が第1データを展開することで対話者の音声を再生する。この音声を聞いた相手側対話者は、その反応として所定の動作を行ったり、所定位置に移動したり、所定の姿勢を取ったり、所定の音を発するように行動する。この行為が条件を満たす検知対象として検知部により検知されると、これをトリガーとして表示画面形成部が表示画面を形成する。以上のように上記の構成では、対話者が相手側対話者に呼び掛けた音声をデータ化して送信し、相手側対話者側で上記の音声を再生し、当該音声に反応して相手側対話者が行動すると、これに連動する形で表示画面が形成されるようになる。以上の手順により、対話に係る処理は、円滑に開始されるようになる。
 また、上記の対話システムにおいて、前記第1ユニットは、前記通信回線を通じて前記第2データを受信する第2データ受信部と、受信した前記第2データを展開することで前記相手側対話者の映像を第1ユニット側表示画面に映し出す第2データ展開部と、前記対話者が居る建物内に配置された建築材料、家具若しくは装飾品の一部分を構成し、前記第1ユニット側表示画面を形成する第1ユニット側表示画面形成部と、予め設定された画面形成条件が満たされていないとき、前記第1ユニット側表示画面形成部は、前記第1ユニット側表示画面を形成せずに前記一部分としての外観を現し、前記画面形成条件が満たされているとき、前記第1ユニット側表示画面形成部は、前記第1ユニット側表示画面を形成すると、より好適である。
 上記の構成では、相手側対話者が保有する通信ユニットと同様、対話者が保有する通信ユニットについても表示画面形成部(第1ユニット側表示画面形成部)が備えられており、当該表示画面形成部は、対話が行われていない間には表示画面を形成せず、その代わりに、相手側対話者が居る建物内に配置された建築材料、家具若しくは装飾品の一部分としての外観を現す。したがって、対話が行われていない期間中、対話者と相手側対話者の双方において表示画面形成部が建築材料等として機能し、結果として、各表示画面については建物内で目立ち難くなり、その存在が気付き難くなる。
 また、上記の対話システムにおいて、前記第1ユニットは、前記相手側対話者となる候補者が複数いるときに前記対話者により前記相手側対話者として指定された前記候補者の前記第2ユニットを特定する特定部を更に備え、前記第1データ送信部は、前記特定部により特定された前記第2ユニットに向けて前記第1データを送信すると、より一層好適である。
 上記の構成において、対話者が有する通信ユニット(第1ユニット)は、相手側対話者となる複数の候補者の中から対話者が指定した候補者の通信ユニット(第2ユニット)を特定し、特定した当該ユニットと通信することになる。これにより、対話者は、候補者が複数人いるとしても、自己が指定した候補者を相手側対話者として対話をすることが可能となる。
 また、上記の対話システムにおいて、前記第1データ生成部は、前記対話者の全身像及び前記対話者の周辺空間の映像と前記対話者の音声とを示す前記第1データを生成し、前記第2データ生成部は、前記相手側対話者の全身像及び前記相手側対話者の周辺空間の映像と前記相手側対話者の音声とを示す前記第2データを生成すると、さらに好適である。
 上記の構成において、対話者同士は、お互いの全身像及び周辺空間の映像を見ながら会話をすることが可能となる。これにより、各対話者は、あたかも相手と同じ空間に居ると感じながら対話を行うことが可能となり、より臨場感のある対話を実現することが可能となる。
 また、前述の課題は、本発明の対話方法によれば、対話者が保有する第1ユニットと、相手側対話者が保有する第2ユニットと、によって前記対話者と前記相手側対話者との間の対話を実行する対話方法であって、(A)前記第1ユニットが備える第1データ生成部が、前記対話者を撮像した際の映像を示す第1データを生成する工程と、(B)前記第1ユニットが備える第1データ送信部が、前記第1データを前記第2ユニットに向けて送信する工程と、(C)前記第2ユニットが備える第1データ受信部が、通信回線を通じて前記第1データを受信する工程と、(D)前記第2ユニットが備える第1データ展開部が、受信した前記第1データを展開することで前記対話者の映像を表示画面に映し出す工程と、(E)前記第2ユニットが備える検知部が、前記相手側対話者が行う動作、前記相手側対話者が居る位置、前記相手側対話者の姿勢及び前記相手側対話者が発する音のうちの少なくとも一つを検知対象としたときに、予め設定された条件を満たす前記検知対象を検知する工程と、(F)前記第2ユニットが備える表示画面形成部が、前記表示画面を形成する工程と、(G)前記第2ユニットが備える第2データ生成部が、前記表示画面形成部が形成した前記表示画面の前に居る前記相手側対話者を撮像した際の映像を示す第2データを生成する工程と、(I)前記第2ユニットが備える第2データ送信部が、前記第2データを前記第1ユニットに向けて送信する工程と、を有し、(J)前記検知部が前記条件を満たす前記検知対象を検知していない期間、前記表示画面形成部が前記表示画面を形成する工程が実施されず、前記表示画面形成部は、前記相手側対話者が居る建物内に配置された建築材料、家具若しくは装飾品の一部分としての外観を現し、(K)前記検知部が前記条件を満たす前記検知対象を検知している期間にのみ、前記表示画面形成部が前記表示画面を形成する工程が実施されることにより解決される。
 上記の対話方法によれば、相手側対話者が行う動作、相手側対話者が居る位置、相手側対話者の姿勢及び相手側対話者が発する音のうちの少なくとも一つを検知対象としたときに、予め設定された条件を満たす検知対象を検知することをトリガーとして、対話者の映像を表示する表示画面が形成されることになる。このように上記の対話方法では、表示画面の形成に際し、相手側対話者に対して特段複雑な操作を要することがない。また、上記の対話方法によれば、対話者と相手側対話者との間の対話が行われていない間、表示画面形成部は表示画面を形成せず、相手側対話者が居る建物内に配置された建築材料、家具若しくは装飾品の一部分としての外観を現すようになる。この結果、対話が行われていない期間には表示画面の存在が気付かれ難くなる。
 本発明によれば、対話者同士がお互いの映像を表示画面で見ながら対話を行うにあたり、特段複雑な操作を要さず、対話が行われていない期間には表示画面の存在を気付き難くさせることが可能である。また、本発明によれば、対話時に対話者同士が同じ空間に居るような感覚を持ち、これにより臨場感のある対話、具体的には対話者同士が同じ室内で対話をする状況を実現することが可能となる。
 以上の効果を奏する本発明によれば、例えば、家族と離れて暮らす単身者が当該家族の居住空間内で当該家族と擬似的に再会して会話することが可能になり、あるいは、医師が遠隔地に居る患者の家に擬似的に出向き当該患者に対して問診をすることが可能になる。つまり、本発明によれば、互いに離れた場所にいる者同士がお互いの映像を見ながら対話をする場合において、あたかも相手側対話者と同じ空間(部屋)で会話をしているような視聴覚効果を得ることが可能となる。
図1の(A)、(B)は、本発明の対話方法に関するイメージ図である。 本発明の対話システムについての概念図である。 本発明の第1ユニットや第2ユニットの構成例を示すブロック図である。 図4の(A)、(B)は、本発明の表示画面形成部の一例を示す図である。 本発明の対話システムによって実行される処理の流れを示す図である(その1)。 本発明の対話システムによって実行される処理の流れを示す図である(その2)。 相手側対話者を指定するための入力画面の一例を示す図である。
 以下、本発明の一実施形態(以下、本実施形態)に係る対話システム及び対話方法について図面を参照しながら説明する。なお、説明を分かり易くするために、以下では、対話者をAさんとし、相手側対話者をBさんとするケースを具体例に挙げて説明することとする。ここで、「対話者」とは、自らの発意により対話を開始し、相手側対話者に対して話し掛ける者である。これに対して、「相手側対話者」とは、対話者に話し掛けられた際に応答して対話を行う者である。このように「対話者」及び「相手側対話者」とは、話し掛ける側と話し掛けられる側との立場上の違いであり、ある時点で「対話者」であった者であっても、他の時点で他の者に話し掛けられた場合には「相手側対話者」となる。
 また、以下では、対話者(相手側対話者)が居る建物として自宅を例に挙げて説明することとする。ただし、自宅は、あくまでも建物の一例であり、自宅以外の建物としては、病院や学校等の公共施設、会社やオフィスビル、学習塾やカルチャースクール等の建物であってもよい。
 <<本発明の対話システム及び対話方法の構成例>>
 本実施形態において、Aさん及びBさんは、対話システム(以下、本システムS)を利用することで、図1に示すようにお互いの映像を見ながら対話を実行することが可能である。図1は、本発明の対話方法に関するイメージ図であり、同図の(A)は、対話者であるAさん側から見た図であり、同図の(B)は、相手側対話者であるBさん側から見た図である。
 本実施形態に係る対話方法について図1を参照しながらより詳しく説明すると、Aさんは、同図の(A)に示すように、自宅に設置されたディスプレイに映し出されたBさんの全身像及びその周辺空間(居住空間)の映像を見ながらBさんと対話することが可能である。同様に、Bさんは、自宅に設置されたディスプレイに映し出されたAさんの全身像及びその周辺空間(居住空間)の映像を見ながらAさんと対話する。
 以上のように対話者同士は、各自の自宅に居ながらにして、お互いの全身像及びその周辺空間を見ながら対話をすることが可能となる。これにより、対話者同士は、あたかも同じ室内に居るような感覚を感じることができるので、臨場感のある対話が実現されるようになる。なお、「全身像」とは、頭部から足に亘る身体全体の姿であり、起立状態であっても着座状態であってもよく、また、前方に配置された物によって一部が隠れている状態の姿を含む概念である。
 ところで、本システムSは、図2に示すように、Aさん及びBさんの各々の自宅に設置された通信ユニット1、2によって構成されており、通信ユニット1、2同士は、インターネット等の通信回線3を通じてデータ通信可能となっている。図2は、本システムSについての概念図である。
 そして、通信ユニット1、2間でデータ通信が行われることにより、上述した臨場感ある対話が実現されることになる。すなわち、通信ユニット1、2を備える本システムSは、対話者同士間で臨場感のある対話を実行するために構築されたシステムであると言える。なお、図2には不図示であるが、通信ユニット1、2の間には中継サーバ(プロキシサーバ)が介在しており、各通信ユニット1、2が送受信するデータについては当該サーバを中継することになっている。
 ちなみに、Aさんの自宅に設置された通信ユニット1は、本発明の第1ユニットに相当し、Bさんの自宅に設置された通信ユニット2は、本発明の第2ユニットに相当する。また、両通信ユニット1、2は、いずれも同様の構成となっているので、以下では、一方の通信ユニット(具体的には、Bさん側の通信ユニット2)のみについて、その構成を説明することとする。
 通信ユニット2の構成について説明すると、図3に示すように、コントローラ10、ルータ20、集音装置21、撮像装置22、人感センサ23、音声再生装置24及びディスプレイが通信ユニット2の主たる構成要素である。図3は、通信ユニット2の構成例を示すブロック図である。
 コントローラ10は、通信ユニット2の中枢を担う装置であり、図3に示すようにCPU11、ROMやRAMからなるメモリ12、ハードディスクドライブ13(図3中、HDDと表記)、通信用インターフェース14(図3中、通信用I/F)及びI/Oポート15を有する。コントローラ10同士は、通信回線3に接続された外部の機器(通信端末)とルータ20を介して通信し、当該機器から受信したデータについては、メモリ12若しくはハードディスクドライブ13に記憶されるようになっている。なお、コントローラ10と通信する機器の中には、相手側の通信ユニット1に備えられたコントローラ10が含まれている。
 また、メモリ12には、対話に関する一連のデータ処理を実行するためのプログラム(以下、対話プログラム)が格納されている。この対話プログラムがCPU11により読み出されて実行されることで、対話に要する各種データが生成されて送信先の通信ユニット1に向けて送信され、あるいは、送信元の通信ユニット1から受信したデータが展開されて同データが示す情報がユーザ(コントローラ10の保有者)に通知されるようになる。コントローラ10が実行する各種処理については、後の項で具体的に説明する。
 集音装置21は、ユーザが話す声や発する音を集音する装置であり、マイクロフォン等の公知の装置により構成される。この集音装置21は、集音した音声を示す音声信号を出力し、当該音声信号は、コントローラ10に設けられたI/Oポート15に入力される。
 撮像装置22は、ユーザの姿を撮像する装置であり、ビデオカメラ等の公知の装置により構成される。本実施形態において、撮像装置22は、ユーザの全体像とその周辺空間を撮像することが可能となる位置に配置されている。具体的に説明すると、本実施形態に係る撮像装置22は、後述するディスプレイの前にユーザが立っているときに当該ユーザの全体像とその周辺空間を撮像可能な位置にセットされている。そして、撮像装置22は、撮像した映像を示す映像信号を出力し、当該映像信号は、コントローラ10に設けられたI/Oポート15に入力される。
 人感センサ23は、その検知エリア内にヒト(ユーザ)が位置していると、その者の存在を検知し、検出結果を示す信号をコントローラ10に向けて出力する。すなわち、人感センサ23は、本発明の検知部の一例に相当し、対話者(相手側対話者)が居る位置を検知対象とし、人感センサ23の検知エリア内にある対話者(相手側対話者)の位置を検知する。なお、人感センサ23については、公知の機器を利用することが可能である。また、本実施形態において、人感センサ23は、その検知エリアが後述するディスプレイの前方に位置するように配置されている。
 音声再生装置24は、音声を再生する装置であり、スピーカー等の公知の装置により構成される。この音声再生装置24は、コントローラ10が音声データを展開した際にコントローラ10から出力される再生実行命令を受信し、当該命令に従って上記の音声データが示す音声を再生する。
 ディスプレイは、映像を表示する表示画面を形成する装置であり、より厳密に説明すると、Bさん側の通信ユニット2に設けられたディスプレイは、本発明の表示画面形成部に相当する。一方、Aさん側の通信ユニット1に設けられたディスプレイは、本発明の第1ユニット側表示画面形成部に相当し、当該ディスプレイにより形成される表示画面は、第1ユニット側表示画面に相当する。
 そして、ディスプレイは、コントローラ10が映像データを展開した際にコントローラ10から出力される映像表示命令を受信し、これに伴って、上記の映像データが示す映像がディスプレイ上の表示画面に表示されるようになる。
 そして、本実施形態に係るディスプレイは、通常時には対話者(相手側対話者)の自宅内に配置された装飾品、具体的には姿見として機能し、対話が実行される時にのみ表示画面を形成するものとなっている。以下、既出の図3及び図4を参照しながら、本実施形態に係るディスプレイについて説明する。図4は、本実施形態に係るディスプレイを示す図であり、同図の(A)は、対話が行われていない非対話時の状態を、同図の(B)は、対話が行われている対話時の状態を、それぞれ示している。
 本実施形態に係るディスプレイは、前述したように、対話者(相手側対話)が居る自宅内に配置された姿見の一部分、具体的には鏡面部分を構成しており、図4の(A)に示す通り、非対話時には表示画面を形成せずに鏡面部分としての外観を現している。一方、本実施形態に係るディスプレイは、対話時になると、図4の(B)に示すように、表示画面を形成し、当該表示画面には映像が表示されるようになる。
 以上のように本実施形態に係るディスプレイは、ディスプレイ兼用ミラー25により構成されており、表示画面の形成・消去が自在に切り替え可能となっている。より具体的に説明すると、ディスプレイ兼用ミラー25は、図3に示すように、制御回路25aと発光部25bを内蔵している。そして、制御回路25aが、コントローラ10から出力される表示画面形成命令を受信し、当該命令に従って発光部25bを点灯させると、ディスプレイ兼用ミラー25の鏡面部分に表示画面が形成されるようになる。
 一方、表示画面形成命令の出力がない期間には、制御回路25aは、発光部25bを消灯状態のままで保持し、これにより、ディスプレイ兼用ミラー25の鏡面部分は、その本来の外観を現すようになる。このように、対話時には表示画面を形成するディスプレイ兼用ミラー25が、対話が行われていない非対話時には姿見として機能することで、対話者(相手側対話者)の自宅内で目立ち難くなり、結果として表示画面の存在が気付かれ難くなる。なお、ディスプレイ兼用ミラー25の構成については、例えば国際公開第2009/122716号に記載された構成のように公知の構成が利用可能である。
 <<コントローラが実行する処理について>>
 次に、対話者同士が対話を行うにあたって前述のコントローラ10が実行する各種処理について説明する。
 コントローラ10が実行する処理は、CPU11がメモリ12に記憶された対話プログラムを読み出して実行することによって実現され、具体的には下記(1)~(5)の処理となる。
(1)対話データ生成処理
(2)対話データ送信処理
(3)対話データ受信処理
(4)対話データ展開処理
(5)表示画面形成命令処理
 以下、各処理について個別に説明する。
 (1)対話データ生成処理について
 対話データ生成処理は、コントローラ10がI/Oポート15を介して集音装置21及び撮像装置22から受信した信号、具体的には音声信号と映像信号をそれぞれデジタル化してからエンコードすることで音声データと映像データを生成し、これら2つのデータを多重化して対話データを生成する処理である。なお、生成された対話データは、コントローラ10が有するメモリ12の所定領域に一時的に記憶される。
 ここで、対話データについて説明すると、対話者であるAさん側のコントローラ10によって生成される対話データは、本発明の第1データに相当し、撮像装置22が撮像したAさんの映像と、集音装置21が集音したAさんの音声(話し声)と、を示すデータとなっている。つまり、Aさん側のコントローラ10において、CPU11とメモリ12は、対話プログラムと協働することにより、第1データに相当する対話データを生成する第1データ生成部を構成している。
 一方、相手側対話者であるBさん側のコントローラによって生成される対話データは、本発明の第2データに相当し、撮像装置22が撮像したBさんの映像と、集音装置21が集音したBさんの音声(話し声)と、を示すデータとなっている。つまり、Bさん側のコントローラ10において、CPU11とメモリ12は、対話プログラムと協働することにより、第2データに相当する対話データを生成する第2データ生成部を構成している。
 なお、前述したように、本実施形態に係る撮像装置22は、ディスプレイ兼用ミラー25が形成した表示画面の前でAさん又はBさんが立っている状態にあるとき、Aさん又はBさんの全身像及びその周辺空間を撮像する。したがって、上記の対話データは、ディスプレイ兼用ミラー25が形成した表示画面の前に居るAさん又はBさんの全身像及びその周辺空間の映像を示すデータとなる。
 (2)対話データ送信処理について
 対話データ送信処理は、上述の対話データ生成処理にて生成された対話データを、送信先の通信ユニット1、2に向けて送信する処理である。すなわち、本処理では、CPU11がメモリ12に記憶された対話データを読み出し、通信用インターフェース14及びルータ20を介して当該対話データを送信することになる。換言すると、CPU11、メモリ12、通信用インターフェース14及びルータ20は、対話プログラムと協働することでデータ送信部を構成している。より厳密に説明すると、Aさん側のコントローラ10のCPU11、メモリ12及び通信用インターフェース14は、ルータ20とともに第1データ送信部を構成し、Bさん側のコントローラ10のCPU11、メモリ12及び通信用インターフェース14は、ルータ20とともに第2データ送信部を構成している。
 (3)対話データ受信処理について
 対話データ受信処理は、送信元の通信ユニット1、2から送られてきた対話データを、通信回線3を通じて受信する処理である。すなわち、本処理では、CPU11が通信用インターフェース14及びルータ20を介して通信回線3から対話データを受信する。このようにCPU11、メモリ12、通信用インターフェース14及びルータ20は、対話プログラムと協働することでデータ受信部を構成しており、より厳密に説明すると、Bさん側のコントローラ10のCPU11、メモリ12及び通信用インターフェース14がルータ20とともに第1データ送信部を構成し、Aさん側のコントローラ10のCPU11、メモリ12及び通信用インターフェース14がルータ20とともに第2データ受信部を構成している。
 なお、受信した対話データは、コントローラ10のメモリ12の所定領域、若しくはハードディスクドライブ13に保存される。
 (4)対話データ展開処理について
 対話データ展開処理は、上述の対話データ受信処理にて受信した対話データから映像データと音声データとを抽出し、音声データが示す音声を音声再生装置24に再生させるとともに、映像データが示す映像をディスプレイ兼用ミラー25に形成された表示画面に表示させる処理である。本処理は、コントローラ10が対話プログラムの機能により音声再生装置24やディスプレイ兼用ミラー25を制御することによって実行される。すなわち、CPU11、メモリ12、音声再生装置24及びディスプレイ兼用ミラー25は、対話プログラムと協働することでデータ展開部を構成している。
 より厳密に説明すると、Bさん側のコントローラ10において、CPU11、メモリ12、音声再生装置24及びディスプレイ兼用ミラー25は、対話プログラムと協働することにより、第1データに相当する対話データを展開する第1データ展開部を構成し、Aさんの全身像及びその周辺空間の映像を表示画面に映し出すとともに、Aさんの音声を音声再生装置24により再生させる。
 同様に、Aさん側のコントローラ10において、CPU11、メモリ12、音声再生装置24及びディスプレイ兼用ミラー25は、対話プログラムと協働することにより、第2データに相当する対話データを展開する第2データ展開部を構成し、Bさんの全身像及びその周辺空間の映像を表示画面に映し出すとともに、Bさんの音声を音声再生装置24により再生させる。
 対話データ展開処理についてより詳しく説明すると、CPU11がメモリ12若しくはハードディスクドライブ13に記憶された対話データを読み出した後、対話プログラムの機能によって上記の対話データを分割し、映像データと音声データとを抽出する。抽出された映像データ及び音声データは、それぞれ対話プログラムの機能によってデコードされる。その後、CPU11は、デコードされた音声データを展開することで、当該音声データが示す音声、具体的には対話者(相手側対話者)の話し声を再生させる再生実行命令を生成する。そして、CPU11は、生成した再生実行命令を音声再生装置24に向けて出力し、音声再生装置24は、当該命令に従って上記の音声データが示す音声を再生する。
 また、CPU11は、デコードされた映像データを展開することで、当該映像データが示す映像(すなわち、対話者(相手側対話者)の全身像及びその周辺空間の映像)を、ディスプレイ兼用ミラー25に形成された表示画面に表示する。具体的に説明すると、CPU11は、上記の映像に関する表示命令(映像表示命令)を生成し、当該命令をディスプレイ兼用ミラー25に向けて出力する。ディスプレイ兼用ミラー25では、上記の映像表示命令を受信すると、制御回路25aが同命令に従って発光部25bを制御する。これにより、ディスプレイ兼用ミラー25に形成された表示画面に、対話者(相手側対話者)の全身像及びその周辺空間の映像が表示されるようになる。
 (5)表示画面形成命令処理について
 表示画面形成命令処理は、ディスプレイ兼用ミラー25が表示画面を形成していない状態において、画面形成条件が満たされたことをトリガーとして表示画面形成命令を生成してディスプレイ兼用ミラー25に向けて出力する処理である。ここで、画面形成条件とは、ディスプレイ兼用ミラー25に表示画面を形成させる条件として予め設定されたものであり、本実施形態では、人感センサ23がその検知エリア内に居る対話者(相手側対話者)の位置を検知することを画面形成条件としている。
 より具体的に説明すると、人感センサ23の検知エリアは、ディスプレイ兼用ミラー25の前方位置、例えば、ディスプレイ兼用ミラー25を姿見として利用する時にユーザが立つ位置よりも幾分近付いた位置に設定されている。そのため、図4の(B)に示すように、ディスプレイ兼用ミラー25に対して通常時よりも近付いた位置に対話者(相手側対話者)が位置していると、人感センサ23は、その検知エリア内に居る対話者(相手側対話者)の位置を検知し、その検知結果を示す信号(以下、検知信号)をコントローラ10に向けて出力する。検知信号をI/Oポート15を介して受信したコントローラ10では、CPU11が対話プログラムを実行し、ディスプレイ兼用ミラー25に表示画面を形成させる命令(表示画面形成命令)を生成し、当該命令をディスプレイ兼用ミラー25に向けて出力する。
 そして、表示画面形成命令を受信したディスプレイ兼用ミラー25では、制御回路25aが上記の表示画面形成命令に従って発光部25bを点灯させる。これにより、それまで姿見としての外観を呈していたディスプレイ兼用ミラー25の鏡面部分に、表示画面が形成されるようになる。
 以上のようにコントローラ10のCPU11及びメモリ12は、対話プログラムと協働して、表示画面形成命令出力部を構成し、人感センサ23がその検知エリア内に居る対話者(相手側対話者)の位置を検知することをトリガーとして、表示画面形成命令を生成してディスプレイ兼用ミラー25に向けて出力する。
 ちなみに、本実施形態において、ディスプレイ兼用ミラー25は、人感センサ23がその検知エリア内に居る対話者(相手側対話者)の位置を検知し続けている間、表示画面を形成した状態で保持される。一方で、人感センサ23が検知エリア内で対話者(相手側対話者)を検知しなくなると、ディスプレイ兼用ミラー25は、表示画面を消去し、鏡面部分に姿見としての外観を現すようになる。すなわち、本実施形態では、人感センサ23が検知エリア内に居る対話者(相手側対話者)の位置を検知していない期間中、ディスプレイ兼用ミラー25が表示画面を形成することはなく、その鏡面部分が姿見の一部分としての外観を現すことになる。換言すると、人感センサ23が検知エリア内に居る対話者(相手側対話者)の位置を検知している期間にのみ、ディスプレイ兼用ミラー25は、表示画面を形成することとしている。
 なお、本実施形態では、ディスプレイ兼用ミラー25に表示画面が形成されると、当該ミラー25の前方に位置する対話者(相手側対話者)の全身像及びその周辺空間の映像を撮像し始め、上記対話者(相手側対話者)が発する音声を集音し始めることになっている。すなわち、本実施形態では、人感センサ23がその検知エリア内に居る対話者(相手側対話者)の位置を検知することをトリガーとして、撮像装置22による撮像及び集音装置21による集音が開始される。また、これに連動する形でコントローラ10が対話データ生成処理を実行し、撮像装置22や集音装置21からの出力信号を基に対話データを生成する。さらに、対話データの生成完了後、コントローラ10は、対話データ送信処理を実行し、生成した対話データを相手側の通信ユニット1、2に向けて送信する。
 <<本実施形態に係る対話方法についての手順例>>
 次に、本実施形態に係る対話方法について、より詳細に説明する。なお、以下の説明においても、上記までの説明と同様に対話者をAさんとし、相手側対話者をBさんとするケースを具体例に挙げることとする。
 本実施形態に係る対話方法は、本システムSにて実行される対話処理にて実現され、具体的には、対話者及び相手側対話者の通信ユニット1、2が図5及び6に示す流れにてデータ処理を順次進めることで実現される。図5及び6は、本システムSによって実行される対話処理の流れを示す図である。
 以下、対話処理について、図5及び6を参照しながら具体的な流れを説明する。
 対話処理は、先ず、Aさんが自宅内に設置されたディスプレイ兼用ミラー25の前方に移動し、人感センサ23がその検知エリア内に居るAさんの位置を検知するところから開始される(S001)。そして、Aさん側の通信ユニット1に設けられたコントローラ10は、I/Oポート15を介して、上記の人感センサ23による検知結果を示す信号を受信すると(S001でYes)、表示画面形成命令処理を実行する。これにより、Aさん宅内のディスプレイ兼用ミラー25は、その鏡面部分が姿見の外観を現している状態から遷移し、上記の鏡面部分に表示画面が形成されるようになる(S002)。なお、Aさん宅内のディスプレイ兼用ミラー25に表示画面が形成された時点では、当該表示画面が所定の待ち受け画面となっている。
 一方、表示画面形成命令の実行に伴って集音装置21及び撮像装置22が作動し、これにより、Aさんの全身像及びその周辺空間の映像が撮像され、Aさんの話し声が集音されるようになる(S003)。その後、Aさん側の通信ユニット1に設けられたコントローラ10は、対話データ生成処理を実行し、集音装置21及び撮像装置22からの出力信号を基に対話データを生成し、さらに、対話データ送信処理を実行して、生成した対話データをBさん側の通信ユニット2に向けて送信する(S004)。
 Bさん側の通信ユニット2では、コントローラ10が通信用インターフェース14を介して上記の対話データを受信し(S005)、これに連動して対話データ展開処理を実行する。かかる処理では、先ず、対話データの中から音声データが抽出され、当該音声データが示す音声が音声再生装置24によって再生される(S006)。この結果、Bさん宅内ではAさんの音声、例えば、AさんがBさんを呼び掛ける声が再生される。Bさんは、その声に反応する形で、Bさんの自宅内に設置されたディスプレイ兼用ミラー25の前方に移動する。
 そして、Bさん宅内において、コントローラ10がAさんの音声を再生している間に人感センサ23がその検知エリア内に居るBさんの位置を検知すると(S007)、コントローラ10がI/Oポート15を介して上記の人感センサ23による検知結果を示す信号を受信し、これに伴って表示画面形成命令処理を実行する。これにより、Bさん宅内のディスプレイ兼用ミラー25は、その鏡面部分が姿見としての外観を現している状態から遷移し、上記の鏡面部分に表示画面が形成されるようになる(S008)。
 表示画面の形成後、Bさん側の通信ユニット2に設けられたコントローラ10は、対話データ展開処理を続行する。この際、コントローラ10は、対話データから音声データと映像データを抽出し両データを展開する。すなわち、コントローラ10は、抽出した音声データが示す音声を音声再生装置24により再生するとともに、抽出した映像データが示す映像を表示画面に映し出す(S009)。これにより、Bさん宅内ではAさんの音声が再生されるとともに、Aさんの全身像及びその周辺空間の映像が上記の表示画面に表示されるようになる。
 一方、表示画面形成命令の実行に伴って、Bさん宅内でも集音装置21及び撮像装置22が作動し、これにより、Bさんの全身像及びその周辺空間の映像が撮像され、Bさんの話し声が集音されるようになる(S010)。その後、Bさん側の通信ユニット2に設けられたコントローラ10は、対話データ生成処理を実行し、集音装置21及び撮像装置22からの出力信号を基に対話データを生成し、さらに、対話データ送信処理を実行して、生成した対話データをAさん側の通信ユニット1に向けて送信する(S011)。
 そして、Aさん側の通信ユニット1に設けられたコントローラ10は、通信用インターフェース14を介して上記の対話データを受信すると(S012)、これに連動して対話データ展開処理を実行する。かかる処理において、コントローラ10は、受信した対話データから音声データと映像データとを抽出し、両データを展開する。すなわち、コントローラ10は、抽出した音声データが示す音声を音声再生装置24により再生し、抽出した映像データが示す映像を表示画面に映し出す(S013)。これにより、Aさん宅内ではBさんの音声が再生されるとともに、それまで待ち受け状態にあった表示画面に、Bさんの全身像及びその周辺空間の映像が表示されるようになる。
 その後、対話者同士の対話が継続する間、上述した対話データの生成、送受信、展開に係る処理が各通信ユニット1、2において繰り返されることになる。そして、Aさん若しくはBさんのいずれか一方の自宅において、人感センサ23がその検知エリア内でヒトを検知しなくなったときに(S014、S015)、対話処理は終了することになる。より具体的には、人感センサ23がヒトを検知しなくなった側の自宅では、ディスプレイ兼用ミラー25に形成されていた表示画面が消去され、集音装置21及び撮像装置22が停止する。また、対話の終了により、もう一方の自宅においてもディスプレイ兼用ミラー25の前に立っていたヒトが居なくなって人感センサ23がその検知エリア内でヒトを検知しなくなると、これに連動して、ディスプレイ兼用ミラー25に形成されていた表示画面が消去され、集音装置21及び撮像装置22が停止する。
 <<その他の実施形態>>
 上記の実施形態では、本発明の対話システム及び対話方法について、一例を挙げて説明した。ただし、上記の実施形態は、本発明の理解を容易にするためのものであり、本発明を限定するものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれることは勿論である。
 また、上記の実施形態では、検知部の一例として、対話者(相手側対話者)の位置を検知する人感センサ23を挙げ、人感センサ23の検知結果に応じて表示画面の形成・消去を切り替えることとした。ただし、検知部については、人感センサ23以外の機器を利用することとしてもよい。つまり、本発明を実現するための構成として、検知部は、対話者(相手側対話者)が行う動作、対話者(相手側対話者)が居る位置、対話者(相手側対話者)の姿勢、及び対話者(相手側対話者)が発する音のうちの少なくとも一つを検知対象としたときに、予め設定された条件を満たす検知対象を検知するものであればよい。例えば、ヒトの足音や話し声に反応する音センサを検知部として採用し、所定の音量以上の音を検知したときに表示画面を形成することとしてもよい。このように音を検知対象とする構成については、例えば特開2013-73505号公報や特開2005-78347号公報に記載された構成のように公知の構成を利用することが可能である。
 また、上記の実施形態では、通常時(非対話時)には姿見として機能するディスプレイ兼用ミラー25を表示画面形成部の一例として挙げたが、これに限定されるものではない。すなわち、表示画面形成部については、姿見以外のものであってもよく、各自の自宅内に配置された建築材料、家具若しくは装飾品の一部分を構成するとともに、検知部の検知結果に応じて表示画面の形成・消去を自在に切り替えることが可能なものであればよい。例えば、宅内のドアや内壁を構成する建築材料、あるいは、タンス等の家具を表示画面形成部として採用することとしてもよい。
 また、上記の実施形態では、対話処理の開始時点において、対話者側のディスプレイ兼用ミラー25は、表示画面を形成するものの、相手側対話者から対話データが送信されてくるまでの間、上記の表示画面は、相手側対話者の映像が表示されない待ち受け画面になっていることとした。ただし、これに限定されるものではなく、相手側対話者の対話データが送信されてくるまでの間についても、過去に受信した対話データ中の映像データを展開する等して相手側対話者の映像を表示画面に表示させることとしてもよい。
 また、ディスプレイ兼用ミラー25に形成された表示画面に映し出される映像については、対話を行う上では、リアルタイムの映像(データ送受信の都合上で数秒程度の遅れを伴う映像も含む)を映し出すのが一般的であるが、これに限定されるものではない。すなわち、上述したように、過去に受信した対話データ中の映像データを展開することにより、過去に撮像された映像を表示画面に表示させることとしてもよい。
 また、上記の実施形態では、対話者が予め相手側対話者として指定した一人の者と対話するケースを例に挙げて説明することとした。ただし、これに限定されるものではなく、相手側対話者の候補が複数人いるケースに対しても、本発明は適用可能である。かかるケースについて説明すると、相手側対話者となる候補者が複数(例えば4人)いるときに、対話者は、その中からいずれか一人の候補者を相手側対話者として指定し、その指定結果が対話者の通信ユニット1に記憶される。
 具体的に説明すると、対話者は、自己が保有する不図示のPC、スマートフォンあるいはタブレット端末(以下、入力端末)にて所定のアプリケーションソフトを起動させる。当該アプリケーションソフトの機能により、入力端末の画面には、図7に図示の設定画面が描画されるようになる。そして、上記の設定画面にて対話者がいずれか一人の候補者を指定すると、その指定結果を示すデータが入力端末によって生成され、宅内ネットワークを通じて当該データが通信ユニット1に向けて送信される。
 通信ユニット1のコントローラ10は、入力端末から受信したデータに基づき、対話者が相手側対話者として指定した候補者の通信ユニット2を特定し、厳密には、当該通信ユニット2に割り当てられたMACアドレスを特定する。かかる処理については、コントローラ10に備えられたCPU11、メモリ12及び通信用インターフェース14が関与しており、対話プログラムの機能によって実現される。換言すると、対話者側の通信ユニット1に設けられたコントローラ10のCPU11、メモリ12及び通信用インターフェース14は、対話プログラムと協働して、対話者により相手側対話者として指定された候補者が備える通信ユニット2を特定する特定部を構成している。
 そして、通信ユニット1のコントローラ10は、特定した通信ユニット2に向けて、生成した対話データを送信する。以降、上記の実施形態と同様の手順にて通信ユニット1、2間でのデータ通信が行われ、これによって対話に係る一連の処理(対話処理)が実行される。以上の構成であれば、対話者は、対話を行うにあたり、自己が指定した候補者を確実に相手側対話者として設定することが可能となる。なお、相手側対話者の指定については、図7に図示した設定画面を通じて行う場合には限定されず、他の方法(例えば、音声入力を採用して相手側対話者を指定する等の方法)を利用することとしてもよい。
S 本システム
1,2 通信ユニット(第1ユニット、第2ユニット)
3 通信回線
10 コントローラ
11 CPU、12 メモリ、13 ハードディスクドライブ
14 通信用インターフェース、15 I/Oポート
20 ルータ
21 集音装置、22 撮像装置
23 人感センサ(検知部)、24 音声再生装置
25 ディスプレイ兼用ミラー(表示画面形成部)
25a 制御回路、25b 発光部

Claims (6)

  1.  対話者が保有する第1ユニットと、相手側対話者が保有する第2ユニットと、を有し、前記対話者と前記相手側対話者との間の対話を実行するために構築された対話システムであって、
     前記第1ユニットは、
     前記対話者を撮像した際の映像を示す第1データを生成する第1データ生成部と、
     前記第1データを前記第2ユニットに向けて送信する第1データ送信部と、を備え、
     前記第2ユニットは、
     通信回線を通じて前記第1データを受信する第1データ受信部と、
     受信した前記第1データを展開することで前記対話者の映像を表示画面に映し出す第1データ展開部と、
     前記相手側対話者が行う動作、前記相手側対話者が居る位置、前記相手側対話者の姿勢及び前記相手側対話者が発する音のうちの少なくとも一つを検知対象としたときに、予め設定された条件を満たす前記検知対象を検知する検知部と、
     前記相手側対話者が居る建物内に配置された建築材料、家具若しくは装飾品の一部分を構成し、前記表示画面を形成する表示画面形成部と、
     該表示画面形成部が形成した前記表示画面の前に居る前記相手側対話者を撮像した際の映像を示す第2データを生成する第2データ生成部と、
     前記第2データを前記第1ユニットに向けて送信する第2データ送信部と、を備え、
     前記表示画面形成部は、前記検知部が前記条件を満たす前記検知対象を検知していない期間には前記表示画面を形成せずに前記一部分としての外観を現し、前記検知部が前記条件を満たす前記検知対象を検知している期間にのみ前記表示画面を形成することを特徴とする対話システム。
  2.  前記第1データ生成部は、前記対話者の映像と前記対話者の音声を示す前記第1データを生成し、
     前記第1データ受信部が前記第1データを受信すると、前記第1データ展開部が前記第1データを展開して前記対話者の音声を再生し、
     前記第1データ展開部が前記対話者の音声を再生している間に前記検知部が前記条件を満たす前記検知対象を検知すると、前記表示画面形成部が前記表示画面を形成した上で、前記第1データ展開部が前記対話者の映像を前記表示画面に映し出すことを特徴とする請求項1に記載の対話システム。
  3.  前記第1ユニットは、
     前記通信回線を通じて前記第2データを受信する第2データ受信部と、
     受信した前記第2データを展開することで前記相手側対話者の映像を第1ユニット側表示画面に映し出す第2データ展開部と、
     前記対話者が居る建物内に配置された建築材料、家具若しくは装飾品の一部分を構成し、前記第1ユニット側表示画面を形成する第1ユニット側表示画面形成部と、
     予め設定された画面形成条件が満たされていないとき、前記第1ユニット側表示画面形成部は、前記第1ユニット側表示画面を形成せずに前記一部分としての外観を現し、
     前記画面形成条件が満たされているとき、前記第1ユニット側表示画面形成部は、前記第1ユニット側表示画面を形成することを特徴とする請求項2に記載の対話システム。
  4.  前記第1ユニットは、
     前記相手側対話者となる候補者が複数いるときに前記対話者により前記相手側対話者として指定された前記候補者の前記第2ユニットを特定する特定部を更に備え、
     前記第1データ送信部は、前記特定部により特定された前記第2ユニットに向けて前記第1データを送信することを特徴とする請求項3に記載の対話システム。
  5.  前記第1データ生成部は、前記対話者の全身像及び前記対話者の周辺空間の映像と前記対話者の音声とを示す前記第1データを生成し、
     前記第2データ生成部は、前記相手側対話者の全身像及び前記相手側対話者の周辺空間の映像と前記相手側対話者の音声とを示す前記第2データを生成することを特徴とする請求項2乃至4のいずれか一項に記載の対話システム。
  6.  対話者が保有する第1ユニットと、相手側対話者が保有する第2ユニットと、によって前記対話者と前記相手側対話者との間の対話を実行する対話方法であって、
     前記第1ユニットが備える第1データ生成部が、前記対話者を撮像した際の映像を示す第1データを生成する工程と、
     前記第1ユニットが備える第1データ送信部が、前記第1データを前記第2ユニットに向けて送信する工程と、
     前記第2ユニットが備える第1データ受信部が、通信回線を通じて前記第1データを受信する工程と、
     前記第2ユニットが備える第1データ展開部が、受信した前記第1データを展開することで前記対話者の映像を表示画面に映し出す工程と、
     前記第2ユニットが備える検知部が、前記相手側対話者が行う動作、前記相手側対話者が居る位置、前記相手側対話者の姿勢及び前記相手側対話者が発する音のうちの少なくとも一つを検知対象としたときに、予め設定された条件を満たす前記検知対象を検知する工程と、
     前記第2ユニットが備える表示画面形成部が、前記表示画面を形成する工程と、
     前記第2ユニットが備える第2データ生成部が、前記表示画面形成部が形成した前記表示画面の前に居る前記相手側対話者を撮像した際の映像を示す第2データを生成する工程と、
     前記第2ユニットが備える第2データ送信部が、前記第2データを前記第1ユニットに向けて送信する工程と、を有し、
     前記検知部が前記条件を満たす前記検知対象を検知していない期間、前記表示画面形成部が前記表示画面を形成する工程が実施されず、前記表示画面形成部は、前記相手側対話者が居る建物内に配置された建築材料、家具若しくは装飾品の一部分としての外観を現し、
     前記検知部が前記条件を満たす前記検知対象を検知している期間にのみ、前記表示画面形成部が前記表示画面を形成する工程が実施されることを特徴とする対話方法。
PCT/JP2014/077919 2013-10-22 2014-10-21 対話システム及び対話方法 WO2015060290A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/031,379 US9560313B2 (en) 2013-10-22 2014-10-21 Dialogue system and dialogue method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013219297A JP2015082727A (ja) 2013-10-22 2013-10-22 対話システム及び対話方法
JP2013-219297 2013-10-22

Publications (1)

Publication Number Publication Date
WO2015060290A1 true WO2015060290A1 (ja) 2015-04-30

Family

ID=52992884

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/077919 WO2015060290A1 (ja) 2013-10-22 2014-10-21 対話システム及び対話方法

Country Status (3)

Country Link
US (1) US9560313B2 (ja)
JP (1) JP2015082727A (ja)
WO (1) WO2015060290A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170293956A1 (en) * 2015-11-17 2017-10-12 DealerDirect LLC d/b/a FordDirect System and method of matching a consumer with a sales representative

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH077558A (ja) * 1993-06-16 1995-01-10 Nec Corp 端末通知型予約接続方式
JP2011139360A (ja) * 2009-12-28 2011-07-14 Sharp Corp 映像表示装置、動作モード切替方法、プログラムおよび記録媒体
JP2013005253A (ja) * 2011-06-17 2013-01-07 Nakayo Telecommun Inc Ip電話装置およびip電話装置を用いた通信方法
JP3181046U (ja) * 2012-11-05 2013-01-24 合同会社時空 画像表示装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH077588A (ja) 1993-06-18 1995-01-10 Funai Electric Co Ltd ファクシミリ装置におけるフックシャフトの取付構造
JP3181046B2 (ja) 1999-10-13 2001-07-03 ローム株式会社 不揮発性メモリ
EP1558996A2 (en) * 2002-11-05 2005-08-03 Speakeasy, LLC Integrated information presentation system with environmental controls
JP4556099B2 (ja) 2003-08-29 2010-10-06 ソニー株式会社 監視システム、制御装置および方法、並びにプログラム
JP2009060220A (ja) 2007-08-30 2009-03-19 Konica Minolta Holdings Inc コミュニケーションシステム及びコミュニケーションプログラム
JP2009200697A (ja) * 2008-02-20 2009-09-03 Sony Corp 画像送信装置、画角制御方法、画像受信装置、画像表示システム、画像表示方法
US8432353B2 (en) 2008-04-03 2013-04-30 Panasonic Corporation Information display device
JP5139339B2 (ja) * 2009-01-22 2013-02-06 日本電信電話株式会社 テレビ会議装置および表示撮像方法
JP2010171690A (ja) * 2009-01-22 2010-08-05 Nippon Telegr & Teleph Corp <Ntt> テレビ会議システムおよび映像通信方法
JP2011113206A (ja) 2009-11-25 2011-06-09 Nippon Telegr & Teleph Corp <Ntt> 映像コミュニケーションシステム、及び映像コミュニケーション方法
JP2013073505A (ja) 2011-09-28 2013-04-22 Casio Comput Co Ltd 動作制御装置、動作制御方法及びプログラム
KR20160016763A (ko) * 2013-03-15 2016-02-15 비데리 인코포레이티드 디지털 이미징을 디스플레이하기 위한 디스플레이 디바이스

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH077558A (ja) * 1993-06-16 1995-01-10 Nec Corp 端末通知型予約接続方式
JP2011139360A (ja) * 2009-12-28 2011-07-14 Sharp Corp 映像表示装置、動作モード切替方法、プログラムおよび記録媒体
JP2013005253A (ja) * 2011-06-17 2013-01-07 Nakayo Telecommun Inc Ip電話装置およびip電話装置を用いた通信方法
JP3181046U (ja) * 2012-11-05 2013-01-24 合同会社時空 画像表示装置

Also Published As

Publication number Publication date
JP2015082727A (ja) 2015-04-27
US9560313B2 (en) 2017-01-31
US20160249014A1 (en) 2016-08-25

Similar Documents

Publication Publication Date Title
JP6468712B2 (ja) 通信ユニット
JPWO2017098772A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2022109048A (ja) 情報処理装置及びプログラム
JP2005322125A (ja) 情報処理システム、情報処理方法、プログラム
JP6433209B2 (ja) 対話用通信システム及び対話用通信方法
WO2011027475A1 (ja) テレビ会議装置
JP6678315B2 (ja) 音声再生方法、音声対話装置及び音声対話プログラム
WO2015147169A1 (ja) 状況把握用ユニット
WO2016157993A1 (ja) 情報処理装置、情報処理方法およびプログラム
JP4501037B2 (ja) 通信制御システムと通信装置および通信方法
WO2016159165A1 (ja) 映像表示システム及び映像表示方法
WO2015060290A1 (ja) 対話システム及び対話方法
JP6410346B2 (ja) 遠隔意思疎通装置及びプログラム
JP5143114B2 (ja) 発話の予備動作検出及び伝達方法及び装置及びプログラム
JP6475921B2 (ja) 通信ユニット
JP6570290B2 (ja) 映像表示システム及び映像表示方法
EP3857341B1 (en) Special effects communication techniques
JP7420078B2 (ja) 情報処理装置及び情報処理方法
US20240281203A1 (en) Information processing device, information processing method, and storage medium
JP2019113928A (ja) 情報処理装置、情報処理方法、および記録媒体
JP2011228998A (ja) 遠隔会議装置、遠隔会議方法、および遠隔会議プログラム
WO2019097802A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2015192333A (ja) 対話用通信ユニット
JP2011249896A (ja) 通話装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14856025

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 15031379

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 14856025

Country of ref document: EP

Kind code of ref document: A1