WO2013018731A1 - カウンセリングシステム、カウンセリング装置、及びクライアント端末 - Google Patents

カウンセリングシステム、カウンセリング装置、及びクライアント端末 Download PDF

Info

Publication number
WO2013018731A1
WO2013018731A1 PCT/JP2012/069235 JP2012069235W WO2013018731A1 WO 2013018731 A1 WO2013018731 A1 WO 2013018731A1 JP 2012069235 W JP2012069235 W JP 2012069235W WO 2013018731 A1 WO2013018731 A1 WO 2013018731A1
Authority
WO
WIPO (PCT)
Prior art keywords
counseling
user
counselor
unit
screen
Prior art date
Application number
PCT/JP2012/069235
Other languages
English (en)
French (fr)
Inventor
紀子 三輪
Original Assignee
株式会社資生堂
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社資生堂 filed Critical 株式会社資生堂
Publication of WO2013018731A1 publication Critical patent/WO2013018731A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0281—Customer communication at a business location, e.g. providing product or service information, consulting

Definitions

  • the present invention relates to a counseling system, a counseling device, and a client terminal.
  • Patent Document 1 describes a beauty service providing method using the Internet so that beauty advice can be obtained without going directly to a store.
  • the beauty service providing method shown in Patent Document 1 described above only provides a beauty method or the like based on the check result after input on a check sheet screen set for each predetermined beauty course, for example. Therefore, it was not possible to obtain beauty advice while receiving counseling from a counselor in real time. In addition, for example, since it is difficult to express the contents of the consultation about the skin condition and the skin care method on a check sheet or the like, in such a case, it is desired to receive counseling while directly explaining verbally.
  • the present invention has been made in view of the above problems, and an object thereof is to provide a counseling system, a counseling device, a client terminal, and a counseling program that realize high-level counseling in real time.
  • a counseling system including a client terminal used by a user, a counselor terminal used by a counselor, and a counseling device that manages counseling between the client terminal and the counselor terminal, the counseling device
  • the voice recognition unit that recognizes the voice of the user and the counselor and converts it into text data
  • the video / chat control unit that controls the video and chat contents between the user and the counselor
  • the voice recognition unit A text summary generation unit that performs a text summary corresponding to the counseling content to the user by the counselor based on the text data of the chat content controlled by the video / chat control unit, the voice recognition unit, Above Image Chat controller, and out of the sentence summarization unit, counseling system including a control unit for controlling at least one is provided.
  • a counseling device that manages counseling between a client terminal used by a user and a counselor terminal used by a counselor, the voice recognition for recognizing the voice of the user and the counselor and converting it into text data
  • a video / chat control unit for controlling video and chat content between the user and the counselor, text data converted by the voice recognition unit, or text data for chat content controlled by the video / chat control unit
  • a counseling device includes a text summary generator that summarizes text corresponding to the counseling content for the user by the counselor.
  • the present embodiment provides a counseling system that realizes advanced counseling related to beauty in real time through, for example, the Web.
  • a counseling device that relays between a client terminal and a counselor terminal is used for videophone, chat, voice recognition, sentence summarization (including document summarization, text summarization), FAQ information creation, beauty plan generation, etc. Realize advanced real-time counseling about beauty by combining functions and combining them appropriately.
  • FIG. 1 is a diagram illustrating an example of a schematic configuration of a counseling system.
  • the counseling system 10 shown in FIG. 1 includes a counseling device 11, client terminals 12-1 to 12-n, and counselor terminals 13-1 to 13-m.
  • the counseling device 11 and the client terminal 12 are connected in a state where data can be transmitted and received via a communication network 14-1 typified by the Internet, for example. Further, the counseling device 11 and the counselor terminal 13 are connected in a state where data can be transmitted and received through the communication network 14-2 in the same manner as described above.
  • the counseling device 11 has functions such as TV phone and chat, voice recognition, sentence summarization, FAQ information creation, and beauty plan generation.
  • the counseling device 11 performs beauty counseling between the user and the counselor, the above-described functions are appropriately combined, the client terminal 12 and the counselor terminal 13 are relayed, and the counseling is managed.
  • the counseling device 11 performs counseling to a user by a counselor by a TV phone or a chat, or creates a text summary, FAQ information, or the like based on the counseling status or result.
  • Client terminals 12-1 to 12-n are terminals used by users who receive counseling.
  • the counselor terminals 13-1 to 13-m are terminals used by the counselor.
  • a counselor may be assigned to each counselor terminal 13, and the counselor and the counselor terminal 13 may be associated with each other by a user ID or password input by the counselor from the counselor terminal 13.
  • the user and the counselor access the counseling device 11 from their corresponding terminals, and perform two-way communication using, for example, a TV phone or a chat.
  • the counselor's spoken word received from the user is converted into text in real time and distributed using the counseling device 11, for example, using a TV phone or chat, and the usage and beauty of cosmetics.
  • a video showing the method can be distributed. This makes it possible to realize counseling at a level close to that at a storefront between the client terminal 12 and the counselor terminal 13.
  • the relationship between the counseling device 11, the client terminal 12, and the counselor terminal 13 in this embodiment is 1: n: m (n, where m is an integer equal to or greater than m: 1).
  • the present invention is not limited to this.
  • a plurality of counseling devices 11 may be provided according to the counseling content.
  • FIG. 2 is a diagram illustrating an example of a functional configuration of the counseling device according to the present embodiment.
  • the counseling device 11 shown in FIG. 2 includes an input unit 21, an output unit 22, a recording unit 23, a voice recognition unit 24, a screen generation unit 25, a video / chat control unit 26, and a beauty plan generation unit 27.
  • the input unit 21 accepts input such as start / end of various instructions regarding counseling processing from a user (such as an administrator) who uses the counseling device 11, for example.
  • the input unit 21 includes a pointing device such as a keyboard or a mouse if it is a general-purpose computer such as a personal computer.
  • the output unit 22 outputs the content input by the input unit 21 and the content executed based on the input content.
  • the output unit 22 includes, for example, a display or a speaker.
  • the output unit 22 may have a printing function such as a printer.
  • the recording unit 23 accumulates various information necessary in the present embodiment.
  • the recording unit 23 stores, for example, product information such as product descriptions and images used for counseling by the counselor to the user, and counseling information such as videos showing beauty methods.
  • the recording unit 23 also includes user information such as user counseling data, user purchase history such as cosmetics, user skin information acquired using beauty equipment such as a store, and response history data in the counseling process of the present embodiment. Accumulate.
  • the counseling device 11 can manage counseling for the user by the counselor.
  • the recording unit 23 accumulates a sentence summary summarizing document data such as a user-counselor exchange obtained as a result of the counseling of the present embodiment, a beauty plan proposed by the counselor based on the user counseling result, and the like. To do.
  • sentence summaries, beauty plans, and the like can be stored in the recording unit 23 as response history data for the user.
  • the recording unit 23 can store the user information in association with user identification information such as a user ID, for example.
  • the recording unit 23 also accumulates FAQ information and the like that associates inquiries by the user with answers by the counselor.
  • the voice recognition unit 24 converts, for example, voice that a user and a counselor have a conversation using a TV phone, a web phone, a mobile, or the like into text by voice recognition.
  • the voice recognition unit 24 can use automatic voice recognition software such as AmiVOICE (registered trademark), but is not limited to this in the present embodiment.
  • the screen generator 25 generates a screen used when counseling a user by a counselor, for example.
  • the screen generation unit 25 generates, for example, a screen for allowing the user to select a specific counselor among counselors corresponding to a preset field, a moving image for counseling, a screen used for chatting, and the like.
  • the screen generation unit 25 generates a screen to be displayed on the client terminal 12 and the counselor terminal 13 in association with a counseling item including at least one of a question from the user, a trouble consultation, and a beauty lesson. Also good.
  • Information for the screen generation unit 25 to generate a screen can be stored in the recording unit 23. At this time, the recording unit 23 can store the format of the display screen in association with each item.
  • the screen generation unit 25 can generate a screen or the like based on the format of the corresponding display screen in accordance with items specified by the user or counselor.
  • the screen generation unit 25 can generate a screen for sharing the beauty plan generated by the beauty plan generation unit between the user's client terminal 12 and the counselor's counselor terminal 13 and present the beauty plan to the user. It is. An example of the screen generated by the screen generation unit 25 will be described later.
  • the video / chat control unit 26 performs control for performing the above-described TV phone call, Web phone call, chat, and the like between the client terminal 12 and the counselor terminal 13. Specifically, the video / chat control unit 26 establishes communication (session) between the client terminal 12 and the counselor terminal 13 in order to perform communication between the user and the counselor by providing video, audio, text data, and the like. Controls data transmission and reception. In addition, the moving image / chat control unit 26 acquires text data input by chat.
  • MeetingPlaza registered trademark
  • the present invention is not limited to this, and for example, live video and text data distribution, content sharing, audio, etc. Any device that can provide data or the like may be used.
  • the beauty plan generation unit 27 generates, for example, a beauty plan that proposes product information such as cosmetics, a beauty method, and the like according to the user's request based on, for example, conversation between the user and the counselor, counseling content, or the like.
  • the beauty plan generation unit 27 uses the counselor's conversation for each classification of product information, beauty method, etc. from text data obtained by converting the conversation of the counselor by the voice recognition unit 24 or text data acquired by the video / chat control unit 26. Extract and summarize the explanation.
  • the beauty plan generation unit 27 generates the pasted explanation by pasting it on each classification frame of the screen on which the beauty plan generated by the screen generation unit 25 is displayed.
  • the beauty plan generation unit 27 includes an image input by content sharing on the above-described beauty plan display screen, or extracts data from the information generated by the text summary generation unit 28 or the FAQ information generation unit 29. Or by pasting.
  • the sentence summary generation unit 28 obtains predetermined keyword information or the like from, for example, a conversation between a user and a counselor, counseling content or the like converted into text data by the voice recognition unit 24, a sentence or the like text input in a chat or the like. Extract and generate a sentence summary.
  • the sentence summary generation unit 28 can use automatic sentence summary software such as TRUE TELLER (registered trademark) VOICE digest, for example, but is not limited to this.
  • the FAQ information generation unit 29 is generated by, for example, a conversation between a user and a counselor, text data of the counseling content or the like converted into text data by the voice recognition unit 24, a text input in chat or the like, and a sentence summary generation unit 28. FAQ information is generated from sentence summaries and the like.
  • the FAQ information generation unit 29 can use, for example, FAQ information creation software such as TRUE TELLER FAQ knowledge. However, the present embodiment is not limited to this.
  • the transmission / reception unit 30 is an interface for acquiring a desired external image (sound, image, etc.) from an external device that can be connected using the communication network 14 or the like, an execution program for realizing the counseling processing in the present invention, and the like. It is. Moreover, the transmission / reception part 30 can transmit the various information produced
  • the control unit 31 controls the entire components of the counseling device 11. For example, the control unit 31 controls generation of each screen to be displayed on the client terminal 12 or the counselor terminal 13 based on selection of a counselor based on an instruction from the user, counseling content, or the like. In addition, the control unit 31 sets video / chat settings, establishes communication, data transmission / reception, voice recognition, and a beauty plan according to counseling contents (items) specified by the user and functions of the client terminal 12 and the counselor terminal 13. At least one of the following: generation of sentence, sentence summary, FAQ information generation, and the like.
  • the control unit 31 performs sentence summarization corresponding to the counseling content to the user by the counselor.
  • the sentence summary generation unit 28 is controlled.
  • the control unit 31 controls the screen generation unit 25 to present the sentence summary generated by the sentence summary generation unit 28 to the client terminal 12 and the counselor terminal 13.
  • the control unit 31 controls the FAQ information generation unit 29 so as to generate FAQ information from, for example, sentence summaries generated in response to a plurality of users.
  • FIG. 3 is a diagram illustrating an example of functional configurations of the client terminal and the counselor terminal according to the present embodiment.
  • the client terminal 12 and the counselor terminal 13 in this embodiment are, for example, a general-purpose personal computer that can be connected to the counseling device 11 using the communication network 14 or the like, for example, a mobile phone such as iPhone (registered trademark) or a smartphone, An information communication terminal such as a PDA (Personal Data Assistant) can be used, but the present embodiment is not limited to this.
  • a mobile phone such as iPhone (registered trademark) or a smartphone
  • An information communication terminal such as a PDA (Personal Data Assistant) can be used, but the present embodiment is not limited to this.
  • the client terminal 12 and the counselor terminal 13 illustrated in FIG. 3 include an input unit 41, an output unit 42, a recording unit 43, an imaging unit 44, a voice input unit 45, a counseling unit 46, a transmission / reception unit 47, And a control unit 48.
  • the input unit 41 receives inputs such as start / end of various instructions such as an access instruction to the counseling device 11 and a counseling execution instruction from a user or a counselor, for example. If the input unit 41 is a general-purpose computer such as a personal computer, the input unit 41 includes a pointing device such as a keyboard and a mouse.
  • the output unit 42 outputs the content input to the input unit 41 and the content executed based on the input content.
  • the output unit 42 includes, for example, a display and a speaker.
  • the output unit 42 may have a printing function such as a printer.
  • the recording unit 43 records various information necessary for the present embodiment.
  • the recording unit 43 records address information and the like for accessing the counseling device 11.
  • the imaging unit 44 is for, for example, the user and the counselor to interact while looking at their faces, and images a predetermined area such as the face image or upper body of the user or the counselor.
  • the imaging unit 44 of the client terminal 12 images a user who receives counseling
  • the imaging unit 44 of the counselor terminal 13 images a counselor.
  • a commercially available digital camera can be used as the imaging unit 44, but the type and the like are not particularly limited.
  • the voice input unit 45 is for, for example, a conversation between the user and the counselor by voice, and for example, a microphone can be used.
  • imaging unit 44 and the voice input unit 45 are appropriately provided as necessary.
  • the imaging unit 44 and the voice input unit 45 are appropriately provided according to the environment of the client terminal 12 or the counseling content specified by the user.
  • the counseling unit 46 accesses the counseling device 11 based on an instruction from the user or the counselor, and performs, for example, two-way communication between the client terminal 12 used by the user and the counselor terminal 13 used by the counselor.
  • the counseling unit 46 in the client terminal 12 accesses the counseling device 11 via the transmission / reception unit 47 based on an instruction from the user, displays various screens provided from the counseling device 11 on the output unit 42, and the input unit A counselor is selected based on an instruction from the user 41.
  • the counseling unit 46 in the client terminal 12 communicates with the counselor terminal 13 through the counseling device 11 by the transmission / reception unit 47, receives counseling from the counselor, and receives a beauty plan, sentence summary, FAQ information, etc. after counseling. Control to obtain.
  • the counseling unit 46 in the counselor terminal 13 is connected to the counseling device 11 based on an instruction from the counselor so that the user of the client terminal 12 can be counseled (so-called standby state).
  • the counseling unit 46 in the counselor terminal 13 displays various screens provided from the counseling device 11 on the output unit 42 when a request for counseling is received from the client terminal 12, for example, and the counselor and the user of the client terminal 12 Counseling and so on. Note that the counseling unit 46 in the counselor terminal 13 specifically controls the counselor to perform counseling with respect to the user by distributing various live images, moving images, text data, and sharing content.
  • the various screens of the client terminal 12 and the counselor terminal 13 described above are mainly generated by the counseling device 11 and displayed on the output unit 42 such as a Web browser, thereby being provided to the user and the counselor.
  • the transmission / reception unit 47 is an interface for acquiring desired audio, video, text data, and the like, an execution program for realizing the counseling processing in the present invention, and the like from the counseling device 11 that can be connected using the communication network 14 or the like. is there. Moreover, the transmission / reception part 47 can transmit the various information produced
  • the control unit 48 controls the entire components of the client terminal 12 and the counselor terminal 13. For example, the control unit 48 performs various controls for realizing a counseling process through communication between the client terminal 12 used by the user via the counseling device 11 and the counselor terminal 13 used by the counselor.
  • FIG. 4 is a diagram illustrating an example of a hardware configuration capable of realizing the counseling process according to the present embodiment.
  • the input device 51 has a pointing device such as a keyboard or a mouse operated by a user or the like, for example, and inputs various operation signals such as execution of a program from the user or the like.
  • the output device 52 has a display for displaying various windows, data, and the like necessary for operating the computer main body that performs processing according to the present invention, and displays the execution progress and results of the control program executed by the CPU 56.
  • the execution program installed in the computer main body in this embodiment is provided by a portable recording medium 58 such as a Universal Serial Bus (USB) memory or a CD-ROM.
  • the recording medium 58 can be set in the drive device 53, and an execution program included in the recording medium 58 is installed in the auxiliary storage device 54 from the recording medium 58 via the drive device 53.
  • the auxiliary storage device 54 is a storage unit such as a hard disk, and stores an execution program according to the present invention, a control program provided in the computer, and performs input / output as necessary.
  • the memory device 55 stores an execution program or the like read from the auxiliary storage device 54 by the CPU 56.
  • the memory device 55 includes a Read Only Memory (ROM), a Random Access Memory (RAM), and the like.
  • the CPU 56 controls processing of the entire computer, such as various operations and input / output of data with each hardware component, based on a control program such as an operating system (OS) and an execution program stored in the memory device 55. By doing so, each processing in the counseling is realized.
  • a control program such as an operating system (OS) and an execution program stored in the memory device 55.
  • the network connection device 57 obtains an execution program from another terminal connected to the communication network 14 by connecting to the communication network 14 or the like, or an execution result obtained by executing the program or the present invention.
  • the execution program itself is provided to other terminals.
  • the above-described hardware configuration makes it possible to execute counseling processing according to the present invention. Further, by installing the execution program, the counseling process according to the present invention can be easily realized by a general-purpose personal computer or the like.
  • FIG. 5 is a diagram illustrating an example of counseling processing in the present embodiment.
  • chat and content sharing between the client terminal 12 and the counselor terminal 13 are controlled by the video / chat control unit 26 of the counseling device 11, and the display screen 100 of the client terminal 12 and the display of the counselor terminal 13 are controlled.
  • the screen 101 for example, a live video of the counselor 111, the content of a beauty plan provided to the user 110, a text chat area, and the like are displayed.
  • voice such as telephone voice (including voice obtained from a TV phone or the like)
  • voice is converted into text data by the voice recognition unit 24 and converted.
  • the displayed text is displayed in the text chat area.
  • a beauty plan corresponding to the purpose and request of the user 110 is generated by the beauty plan generation unit 27 based on the interaction between the counselor 111 and the user 110 described above, and provided to the user 110.
  • the above-described text data displayed as text is accumulated, and for example, the text is stored for the entire text data accumulated until that time based on a certain time unit, every predetermined timing, etc.
  • a summary is generated by the summary generator 28.
  • text data converted from the voice of the counselor 111 that is not displayed on the screen, such as a TV phone may be stored to generate a summary in the same manner.
  • the timing at which the above-described summary is generated is, for example, for each counseling, in units of time such as one day, one week, or the like, but is not limited to this in the present embodiment.
  • sentence summary generation in the sentence summary generation unit 28 as shown in FIG. 5, character analysis or the like is performed on all the information obtained as text data, and the company name of the text data obtained as the overall analysis result, It is possible to generate a response sentence summary from a person name (user name), a message, a telephone number, correspondence contents, and the like.
  • the summary analysis result can be obtained by associating whether the input is made by the user or the counselor for each sentence, for example.
  • the sentence summary generated by the sentence summary generation unit 28 may be registered as, for example, a contact reception history (response history data) for each user, and in that case, is stored in the recording unit 23 or the like.
  • the recording unit 23 may store the beauty plan generated by the beauty plan generation unit 27 and the FAQ information generated by the FAQ information generation unit 29.
  • the contact response history described above, the generated beauty plan, FAQ information, etc. are used for future product proposals to users on the Web, promotion of follow-up to users, product development, and the like.
  • FIG. 6 is a flowchart showing the flow of counseling processing in the present embodiment.
  • the screen generation unit 25 of the counseling device 11 displays corresponding screens for the client terminal 12 of the user and the selected counselor terminal 13 in order to perform counseling between the selected counselor and the user.
  • the video / chat control unit 26 of the counseling device 11 performs control for video / chat between the client terminal 12 and the counselor terminal 13 (S12).
  • the client terminal 12 and the counselor terminal 13 are appropriately input with text, voice, video, and the like by the counselor and the user via the counseling device 11 (S13), respectively, and the counseling unit 46 of each terminal between the counselor and the user. To control the counseling.
  • the beauty plan generating unit 27 of the counseling device 11 generates a beauty plan from information obtained by chatting or counseling between the user and the counselor, for example (S14).
  • the counseling device 11 determines whether or not to end the counseling (S15), and when it is determined not to end the counseling according to a user instruction or the like (NO in S15), the process returns to S13, Process.
  • the sentence summary generation unit 28 of the counseling device 11 creates a sentence summary from, for example, voice and text exchanges between the user and the counselor (S16), and FAQ
  • the information generation unit 29 generates FAQ information (S17).
  • the counseling device 11 records the sentence summary and FAQ information obtained by the processes of S16 and S17 in the recording unit 23 (S18).
  • the counseling device 11 determines whether or not to end the process (S19). If it is determined not to end the process (NO in S19), the process returns to S10, for example, when another counselor is selected and the subsequent Process. If it is determined that the process is to be terminated (YES in S19), the counseling process in the present embodiment is terminated.
  • FIG. 7 is a diagram illustrating an example of a counselor introduction screen.
  • the counselor introduction screen 60 generated by the screen generation unit 25 for example, one or more counselors are introduced as advisors for each field.
  • the user refers to each advisor's face introduced on the counselor introduction screen 60, self-introduction, strengths, career, qualification, etc., and the current customer service status (in service / waiting), etc. Select a suitable advisor in charge.
  • top stylist (pay) means that a fee is charged as a designated fee for a popular advisor (here, a stylist), an advisor with special qualifications, and the like. That is, in this embodiment, it is possible to perform different charging settings for each advisor.
  • these fields can be switched by selecting a tab or the like. Further, by selecting a face photo of each advisor, detailed information can be displayed on the detailed screen 61. It can be displayed as shown.
  • this screen includes “To First”, “Fitting”, “Medical Record”, “Contact Us”, “My Page”, “Logout”, “Shopping Cart” Etc. are displayed, and when the user selects them, a corresponding screen can be displayed.
  • this screen displays items such as “Terms of Use”, “FAQ”, “Privacy Policy”, “Company Profile”, “Site Map”, etc. When selected, the corresponding screen can be displayed. For “FAQ”, for example, the information generated by the FAQ information generation unit 29 can be displayed.
  • FIG. 8 is a diagram illustrating an example of a first video / chat screen.
  • FIG. 8 shows a user screen 70 and a counselor screen 71 as an example of the first video / chat screen.
  • the chat contents by the text between the user 110 and the counselor 111 generated by the screen generation unit 25, the beauty plan provided to the user 110, the counseling contents and the beauty plan are displayed.
  • a moving image such as a corresponding product image, a usage method of the displayed product, and a facial massage method corresponding to the counseling content is arranged and displayed at a predetermined position.
  • a user chart (customer chart) is displayed on the counselor screen 71.
  • the layout of each screen in the present embodiment is not limited to this.
  • the user 110 consults using chat by text input, and the counselor refers to the content of the chat entered by the user from the screen, and uses the content of product images and videos, Counseling is performed by answering by text input.
  • the user 110 uses the screen shown in FIG. Questions and concerns can be solved by the text and content (moving images, product images, etc.) provided.
  • FIG. 9 is a diagram illustrating a second moving image / chat screen example.
  • FIG. 9 shows a user screen 80 and a counselor screen 81 as a second moving image / chat screen example.
  • product images corresponding to, for example, counseling contents generated by the screen generation unit 25, moving images, and beauty plans provided to the user 110 are arranged at predetermined positions. Furthermore, a counselor live video showing the face image and name of the counselor 111 is also arranged and displayed at a predetermined position.
  • a user chart (customer chart) is displayed on the counselor screen 81.
  • the layout of each screen in the present embodiment is not limited to this.
  • the user 110 shares, for example, voice by telephone and content displayed by the client terminal 12. Further, the counselor 111 performs counseling for the user 110 by, for example, delivering a live video by voice by telephone or videophone.
  • the beauty that the counselor 111 gives a lesson to the user 110 using videos and product images on the site for basic knowledge and techniques of skin care and makeup for example.
  • Courses such as lessons can be provided.
  • the makeup edition includes, for example, a case where it is desired to intensively teach only how to draw the eyebrows, a case where it is desired to teach basic makeup techniques, and the like.
  • the skin care edition includes, for example, a case where the user wants to intensively teach how to clean the face and a case where a basic usage of skin care is desired.
  • the user 110 can take a lesson using a live video of the counselor 111 using a TV phone as shown in FIG.
  • FIG. 10 is a diagram illustrating a third moving image / chat screen example.
  • FIG. 10 shows a user screen 90 and a counselor screen 91 as a third moving image / chat screen example.
  • the product image, the moving image, the beauty plan provided to the user, and the counselor live video generated by the screen generation unit 25 are arranged at predetermined positions. Are also displayed at predetermined positions.
  • a user chart (customer chart) is displayed on the counselor screen 91.
  • the layout of each screen in the present embodiment is not limited to this.
  • the user 110 and the counselor 111 perform counseling by, for example, a TV phone.
  • the present embodiment it is possible to acquire the user's troubles and requests in real time and provide advanced counseling according to the user's request in the same manner as the counseling performed at the store.
  • the user may log in in advance using the user identification information or the like.
  • the counselor inputs user identification information, or based on the conversation between the user and the counselor, A user may be specified.
  • the user information of the user is stored in the recording unit 23, the user information can be specified based on the user identification information.
  • the control unit 31 reads out the user information of the user from the recording unit 23 based on the user identification information, and the screen generation unit 25 or the video / chat control unit 26 User information can be displayed on the screen. As a result, the counselor can take action according to the user information.
  • the beauty plan generation unit 27 performs processing for presenting recommended products to the user based on the content of the dialogue between the user and the counselor.
  • FIG. 11 is a block diagram partially showing an example of the configuration of the beauty plan generation unit 27 and the recording unit 23.
  • the beauty plan generation unit 27 includes a keyword acquisition unit 120, a recommended product extraction unit 122, and a recommended product presentation processing unit 124.
  • the recording unit 23 includes a product information storage unit 130.
  • the merchandise information storage unit 130 stores the merchandise information such as the description and images of the merchandise used by the counselor for counseling the user.
  • the product information storage unit 130 may be configured to store product information of a plurality of products in association with keywords of the products.
  • the keyword acquisition unit 120 extracts a keyword from, for example, the response sentence summary generated by the sentence summary generation unit 28 based on the content of the dialogue between the user and the counselor acquired by the voice recognition unit 24 or the video / chat control unit 26.
  • the keyword may be input by the counselor based on, for example, a dialog with the user.
  • the keyword acquisition unit 120 acquires a keyword input by the counselor via the counselor terminal 13.
  • the recommended product extraction unit 122 reads the product information of the product associated with the keyword from the product information storage unit 130 based on the keyword extracted or acquired by the keyword acquisition unit 120.
  • the recommended product presentation processing unit 124 causes the screen generation unit 25 to display the product information read by the recommended product extraction unit 122 on the counseling device 11 or the client terminal 12, for example.
  • the product information is not displayed on the counseling device 11 and the client terminal 12 in the same manner.
  • product information of a plurality of products is presented to the counselor, and the product information of the product selected by the counselor is presented to the user (and the counselor). Can be presented.
  • the recommended product extraction unit 122 first reads product information of a plurality of products from the product information storage unit 130 as product information of candidate products based on the keyword acquired by the keyword acquisition unit 120, and performs recommended product presentation processing.
  • the unit 124 presents the product information of the plurality of candidate products to the counselor terminal 13.
  • the counselor selects the product to be presented to the user from the product information of the presented product via the input unit 41 of the counselor terminal 13.
  • the counseling device 11 accepts selection of a counselor via the input unit 21 of the counseling device 11.
  • the recommended product presentation processing unit 124 presents the product information of the candidate product selected from among the plurality of candidate products to the client terminal 12. At this time, the recommended product presentation processing unit 124 can present the product information of the candidate products similar to the one presented on the client terminal 12 to the counselor terminal 13.
  • the product when the counselor is interacting with the user by voice, the product can be selected by speaking the product name of the product to be selected.
  • Each component of the counseling system 10 described above is not a hardware unit configuration but a functional unit block.
  • Each component of the counseling system 10 is centered on an arbitrary computer CPU, memory, a program for realizing the components shown in the figure loaded in the memory, a storage unit such as a hard disk for storing the program, and a network connection interface. Realized by any combination of hardware and software. It will be understood by those skilled in the art that there are various modifications to the implementation method and apparatus.
  • the components of the counseling device 11, the client terminal 12, and the counselor terminal 13 described above do not need to be included in one physical terminal, but are connected to a plurality of terminals connected via a network or the like. It can be a distributed configuration.
  • the sentence summary generation unit 28, the FAQ information generation unit 29, the voice recognition unit 24, and the like of the counseling device 11 may be configured in a dedicated server.
  • the exchange of data between each client terminal 12 and the counselor terminal 13 does not necessarily have to be performed via the counseling device 11.
  • Data necessary for the counseling device 11 to perform processing is appropriately transmitted to the client terminal 12 and the counseling device 11.
  • the counselor terminal 13 may be configured to be transmitted to the counseling device 11 and the data from the counseling device 11 may be transmitted to the client terminal 12 and the counselor terminal 13.
  • the counseling device includes: A voice recognition unit that recognizes voice of the user and the counselor and converts it into text, a video / chat control unit that controls video and chat content between the user and the counselor, and counseling content to the user by the counselor A sentence summary generation unit that performs a sentence summary corresponding to the above, a FAQ information generation unit that generates FAQ information based on the counseling content, the voice recognition unit, the video / chat control unit, the sentence summary generation unit, and the FAQ Of broadcast generating unit, and a control unit which controls at least one.
  • a client terminal used by a user recognizes the voice of the user and the counselor.
  • a voice recognition unit that converts the text into text
  • a video / chat control unit that controls video and chat content between the user and the counselor
  • a text summary that performs text summarization corresponding to the counseling content to the user by the counselor
  • At least one of a generation unit, a FAQ information generation unit that generates FAQ information based on the counseling content, the voice recognition unit, the video / chat control unit, the sentence summary generation unit, and the FAQ information generation unit Control unit to control That.
  • an input unit that inputs a counseling execution instruction from a user, and the counseling execution instruction obtained by the input unit accesses the counseling device
  • the counselor includes a counseling unit that communicates with a counselor selected by the user, and an output unit that outputs a screen provided from the counseling device by the counseling unit.
  • a counseling program for causing a computer to function as each means included in the above-described counseling device.

Landscapes

  • Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Engineering & Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Transfer Between Computers (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

　ユーザが用いるクライアント端末と、カウンセラーが用いるカウンセラー端末と、前記クライアント端末及び前記カウンセラー端末との間のカウンセリングを管理するカウンセリング装置とを含むカウンセリングシステムであって、前記カウンセリング装置は、前記ユーザ及び前記カウンセラーの音声を認識してテキストデータに変換する音声認識部と、前記ユーザと前記カウンセラーとの動画及びチャット内容を制御する動画・チャット制御部と、前記音声認識部が変換したテキストデータ、または前記動画・チャット制御部により制御されるチャット内容のテキストデータに基づき、前記カウンセラーによる前記ユーザへのカウンセリング内容に対応する文章要約を行う文章要約生成部と、前記音声認識部、前記動画・チャット制御部、及び前記文章要約生成部のうち、少なくとも１つを制御する制御部と、を含む。

Description

カウンセリングシステム、カウンセリング装置、及びクライアント端末
　本発明は、カウンセリングシステム、カウンセリング装置、及びクライアント端末に関する。
　従来、例えば肌の状態に対する悩みやスキンケア方法、肌に合った化粧品やメーキャップ方法等を相談するような場合には、化粧品を販売している店舗等に赴き、直接、カウンセラーと対面してカウンセリングを受けながら、美容アドバイスを得ることが行われている。しかしながら、上述したカウンセリングを受けるために、ユーザは、わざわざ店頭に行かなければならない。したがって、例えば店頭まで行く時間のないユーザや、カウンセラーと直接対面しながらコミュニケーションを取ることが苦手なユーザには、要望にあった美容アドバイスを提供することができない等の問題があった。
　例えば、特許文献１には、直接店舗に足を運ぶことなく、美容アドバイスを得られるように、インターネットを利用した美容サービス提供方法が記載されている。
特開２００２－１３３１３５号公報
　しかしながら、上述した特許文献１に示す美容サービス提供方法は、例えば所定の美容コースごとに設定されたチェックシート画面に入力した後、チェック結果に基づいた美容方法等が提供されるだけである。したがって、リアルタイムにカウンセラーからカウンセリングを受けながら、美容アドバイスを得ることはできなかった。また、例えば肌の状態に対する悩みやスキンケア方法等の相談内容をチェックシート等で表すことは難しいため、このような場合には、直接口頭で説明しながら、カウンセリングを受けることが望まれている。
　本発明は、上記の課題に鑑みてなされたものであり、リアルタイムで、高度なカウンセリングを実現するカウンセリングシステム、カウンセリング装置、クライアント端末、及びカウンセリングプログラムを提供することを目的とする。
　一つの形態によれば、ユーザが用いるクライアント端末と、カウンセラーが用いるカウンセラー端末と、前記クライアント端末及び前記カウンセラー端末との間のカウンセリングを管理するカウンセリング装置とを含むカウンセリングシステムであって、前記カウンセリング装置は、前記ユーザ及び前記カウンセラーの音声を認識してテキストデータに変換する音声認識部と、前記ユーザと前記カウンセラーとの動画及びチャット内容を制御する動画・チャット制御部と、前記音声認識部が変換したテキストデータ、または前記動画・チャット制御部により制御されるチャット内容のテキストデータに基づき、前記カウンセラーによる前記ユーザへのカウンセリング内容に対応する文章要約を行う文章要約生成部と、前記音声認識部、前記動画・チャット制御部、及び前記文章要約生成部のうち、少なくとも１つを制御する制御部と、を含むカウンセリングシステムが提供される。
　他の形態によれば、ユーザが用いるクライアント端末及びカウンセラーが用いるカウンセラー端末との間のカウンセリングを管理するカウンセリング装置であって、前記ユーザ及び前記カウンセラーの音声を認識してテキストデータに変換する音声認識部と、前記ユーザと前記カウンセラーとの動画及びチャット内容を制御する動画・チャット制御部と、前記音声認識部が変換したテキストデータ、または前記動画・チャット制御部により制御されるチャット内容のテキストデータに基づき、前記カウンセラーによる前記ユーザへのカウンセリング内容に対応する文章要約を行う文章要約生成部と、を含むカウンセリング装置が提供される。
　本発明によれば、リアルタイムで、高度なカウンセリングを実現する。
カウンセリングシステムの概略構成の一例を示す図である。 本実施形態におけるカウンセリング装置の機能構成の一例を示す図である。 本実施形態におけるクライアント端末、カウンセラー端末の機能構成の一例を示す図である。 本実施形態におけるカウンセリング処理が実現可能なハードウェア構成の一例を示す図である。 本実施形態におけるカウンセリング処理の一例を示す図である。 本実施形態におけるカウンセリング処理の流れを示すフローチャートである。 カウンセラー紹介画面の一例を示す図である。 第１の動画・チャット画面例を示す図である。 第２の動画・チャット画面例を示す図である。 第３の動画・チャット画面例を示す図である。 ビューティプラン生成部の構成の一例を部分的に示すブロック図である。
　以下、本発明をその実施の形態を示す図面に基づいて詳述する。
　尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。
　＜本実施の形態について＞
　本実施の形態は、例えばＷｅｂ等を通して美容に関するリアルタイムで高度なカウンセリングを実現するカウンセリングシステムを提供する。例えば、本実施の形態は、クライアント端末とカウンセラー端末とを中継するカウンセリング装置が、ＴＶ電話やチャット、音声認識、文章要約（文書要約、テキスト要約も含む）、ＦＡＱ情報作成、ビューティプラン生成等の機能を備え、それらを適宜組み合わせることで、美容に関するリアルタイムで高度なカウンセリングを実現する。以下、本発明の実施の形態について詳細に説明する。
　＜カウンセリングシステムの概略構成＞
　図１は、カウンセリングシステムの概略構成の一例を示す図である。図１に示すカウンセリングシステム１０は、カウンセリング装置１１と、クライアント端末１２－１～１２－ｎと、カウンセラー端末１３－１～１３－ｍとを有するように構成される。
　なお、カウンセリング装置１１とクライアント端末１２とは、例えばインターネット等に代表される通信ネットワーク１４－１によりデータの送受信が可能な状態で接続されている。また、カウンセリング装置１１とカウンセラー端末１３とは、上述と同様に通信ネットワーク１４－２によりデータの送受信が可能な状態で接続されている。
　カウンセリング装置１１は、例えば、ＴＶ電話やチャット、音声認識、文章要約、ＦＡＱ情報作成、ビューティプラン生成等の機能を備える。カウンセリング装置１１は、ユーザとカウンセラーとの間で美容に関するカウンセリングを行う際、上述した各機能を適宜組み合わせ、クライアント端末１２とカウンセラー端末１３とを中継し、カウンセリングを管理する。例えば、カウンセリング装置１１は、ＴＶ電話やチャット等によりカウンセラーによるユーザへのカウンセリングを行ったり、カウンセリング状況や結果に基づいて、文章要約やＦＡＱ情報等を作成したりする。
　クライアント端末１２－１～１２－ｎは、カウンセリングを受けるユーザが使用する端末である。カウンセラー端末１３－１～１３－ｍは、カウンセラーが使用する端末である。例えば、カウンセラーは、カウンセラー端末１３ごとに割り当てられても良く、カウンセラー端末１３からカウンセラーが入力するユーザＩＤやパスワードによってカウンセラーとカウンセラー端末１３とを対応付けても良い。このように、ユーザ及びカウンセラーは、それぞれに対応する端末からカウンセリング装置１１にアクセスし、例えばＴＶ電話やチャット等を用いて双方向通信を行う。
　したがって、カウンセリングシステム１０によれば、カウンセリング装置１１を介して例えばＴＶ電話やチャット等を用いながら、ユーザからの要望を受けたカウンセラーの話し言葉をリアルタイムでテキスト化して配信したり、化粧品の使い方や美容方法を示す動画を配信したりすることができる。これにより、クライアント端末１２とカウンセラー端末１３との間で、店頭でのカウンセリングに近いレベルのカウンセリングを実現することが可能となる。
　なお、図１に示すシステム構成例では、本実施形態におけるカウンセリング装置１１、クライアント端末１２、カウンセラー端末１３のそれぞれの関係を１：ｎ：ｍ（ｎ、ｍ：１以上の整数）としているが、本実施の形態においてはこれに限定されるものではなく、例えばカウンセリング内容に応じて複数のカウンセリング装置１１を有していても良い。
　＜カウンセリング装置１１：機能構成例＞
　次に、上述したカウンセリング装置１１の機能構成について図を用いて説明する。図２は、本実施形態におけるカウンセリング装置の機能構成の一例を示す図である。
　図２に示すカウンセリング装置１１は、入力部２１と、出力部２２と、記録部２３と、音声認識部２４と、画面生成部２５と、動画・チャット制御部２６と、ビューティプラン生成部２７と、文章要約生成部２８と、ＦＡＱ情報生成部２９と、送受信部３０と、制御部３１とを有する。
　入力部２１は、例えばカウンセリング装置１１を使用するユーザ（管理者等）からのカウンセリング処理に関する各種指示の開始／終了等の入力を受け付ける。なお、入力部２１は、例えばパソコン等の汎用のコンピュータであればキーボードやマウス等のポインティングデバイスからなる。
　出力部２２は、入力部２１により入力された内容や、入力内容に基づいて実行された内容等の出力を行う。なお、出力部２２は、例えばディスプレイやスピーカ等からなる。また、出力部２２は、プリンタ等の印刷機能を有していても良い。
　記録部２３は、本実施形態において必要となる各種情報を蓄積する。記録部２３は、例えばカウンセラーがユーザに対してカウンセリングするために用いる商品の説明や画像等の商品情報や、美容方法を示す映像等のカウンセリング用情報を蓄積する。また、記録部２３は、ユーザのカウンセリングデータ、ユーザの化粧品等の商品購入履歴、店舗等の美容機器を用いて取得したユーザの肌情報、本実施形態のカウンセリング処理における応対履歴データ等のユーザ情報を蓄積する。これらを用いることで、カウンセリング装置１１は、カウンセラーによるユーザに対するカウンセリングを管理することが可能となる。
　また、記録部２３は、本実施形態のカウンセリングを行った結果得られるユーザとカウンセラーとのやりとり等の文書データを要約した文章要約やユーザのカウンセリング結果に基づきカウンセラーから提案されたビューティプラン等を蓄積する。このような文章要約やビューティプラン等は、当該ユーザへの応対履歴データとして記録部２３に記憶することができる。記録部２３は、ユーザ情報を、例えばユーザＩＤ等のユーザの識別情報と対応づけて記憶することができる。また、記録部２３は、ユーザによる問合わせとカウンセラーによる回答とを関連付けたＦＡＱ情報等も蓄積する。
　これらを用いることで、本実施形態では、ユーザに対して、よりパーソナルでキメ細かいカウンセリングの提供や、ユーザに対する商品提案やアフターフォローが可能になると共に、化粧品等の商品開発につなげることも可能となる。
　音声認識部２４は、例えばユーザとカウンセラーとがＴＶ電話やＷｅｂ電話、モバイル等を用いて会話する音声を音声認識によりテキストに変換する。なお、音声認識部２４は、例えばＡｍｉＶＯＩＣＥ（登録商標）等の音声自動認識ソフトを用いることができるが、本実施の形態においてはこれに限定されるものではない。
　画面生成部２５は、例えばカウンセラーによるユーザに対するカウンセリング時に使用される画面を生成する。画面生成部２５は、例えば、予め設定される分野に対応するカウンセラーのうち、ユーザに特定のカウンセラーを選定させるための画面や、カウンセリングするための動画やチャット時に使用される画面等を生成する。ここで、画面生成部２５は、ユーザからの疑問、悩み相談、及びビューティレッスン等の少なくとも１つを含むカウンセリング項目に対応させて、クライアント端末１２とカウンセラー端末１３とに表示する画面を生成しても良い。画面生成部２５が画面を生成するための情報は、記録部２３に記憶しておくことができる。また、この際、記録部２３は、各項目に対応づけて、表示画面のフォーマットを記憶しておくことができる。画面生成部２５は、ユーザやカウンセラーから指定される項目に応じて、対応する表示画面のフォーマットに基づき、画面等を生成することができる。
　例えば、画面生成部２５は、ビューティプラン生成部により生成されたビューティプランをユーザのクライアント端末１２及びカウンセラーのカウンセラー端末１３で共有するための画面を生成し、ユーザにビューティプランを提示することが可能である。なお、画面生成部２５において生成される画面例については後述する。
　動画・チャット制御部２６は、クライアント端末１２とカウンセラー端末１３との間で、上述したＴＶ電話やＷｅｂ電話、チャット等を行うための制御を行う。具体的には、動画・チャット制御部２６は、動画や音声、テキストデータ等の提供により、ユーザとカウンセラーとのやりとりを行うため、クライアント端末１２とカウンセラー端末１３との通信（セッション）の確立やデータの送受信の制御等を行う。また、動画・チャット制御部２６は、チャット入力されたテキストデータを取得する。
　なお、ＴＶ電話としては、例えば、ＭｅｅｔｉｎｇＰｌａｚａ（登録商標）等を用いることができるが、本実施の形態においてはこれに限定されるものではなく、例えばライブ映像及びテキストデータの配信、コンテンツ共有、音声データの提供等が行えるものであれば良い。
　ビューティプラン生成部２７は、例えばユーザとカウンセラーとの会話や、カウンセリング内容等に基づいて、例えば化粧品等の商品情報や美容方法等を、ユーザの要望に応じて提案するビューティプランを生成する。例えば、ビューティプラン生成部２７は、カウンセラーの会話を音声認識部２４により変換したテキストデータや、動画・チャット制御部２６が取得したテキストデータから、商品情報、美容方法等の分類ごとに、カウンセラーの説明を抜き出し要約する。また、ビューティプラン生成部２７は、画面生成部２５により生成されるビューティプランを表示する画面の各分類枠に、抜き出し要約した説明等を貼り付けて生成する。
　このとき、ビューティプラン生成部２７は、上述したビューティプランを表示する画面にコンテンツ共有により入力した画像等を含めたり、文章要約生成部２８やＦＡＱ情報生成部２９により生成された情報からデータを抜き出し、貼り付けたりして生成しても良い。
　文章要約生成部２８は、例えばユーザとカウンセラーとの会話や、カウンセリング内容等を、音声認識部２４によりテキストデータ化したものや、チャット等においてテキスト入力された文章等から、所定のキーワード情報等を抽出して、文章要約を生成する。なお、文章要約生成部２８は、例えば、ＴＲＵＥ　ＴＥＬＬＥＲ（登録商標）　ＶＯＩＣＥダイジェスト等の文章自動要約ソフトを用いることができるが、本実施の形態においてはこれに限定されるものではない。
　ＦＡＱ情報生成部２９は、例えばユーザとカウンセラーとの会話や、カウンセリング内容等を音声認識部２４によりテキストデータ化したものや、チャット等においてテキスト入力された文書、文章要約生成部２８により生成された文章要約等からＦＡＱ情報を生成する。なお、ＦＡＱ情報生成部２９は、例えば、ＴＲＵＥ　ＴＥＬＬＥＲ　ＦＡＱナレッジ等のＦＡＱ情報作成ソフトを用いることができるが、本実施の形態においてはこれに限定されるものではない。
　送受信部３０は、例えば通信ネットワーク１４等を用いて接続可能な外部装置から所望する外部画像（音声、画像等）や、本発明におけるカウンセリング処理を実現するための実行プログラム等を取得するためのインタフェースである。また、送受信部３０は、カウンセリング装置１１で生成された各種情報を外部装置に送信することができる。
　制御部３１は、カウンセリング装置１１の各構成部全体の制御を行う。例えば、制御部３１は、ユーザ等からの指示によるカウンセラーの選定や、カウンセリング内容等に基づいてクライアント端末１２やカウンセラー端末１３に表示する各画面の生成を制御する。また、制御部３１は、ユーザが指定したカウンセリング内容（項目）や、クライアント端末１２やカウンセラー端末１３が有する機能に応じて、動画・チャットの設定や通信の確立、データ送受信、音声認識、ビューティプランの生成、文章要約、ＦＡＱ情報の生成等のうち少なくとも１つを制御する。
　制御部３１は、例えば、音声認識部２４が変換したテキストデータ、または動画・チャット制御部２６により制御されるチャット内容のテキストデータに基づき、カウンセラーによるユーザへのカウンセリング内容に対応する文章要約を行うように文章要約生成部２８を制御する。また、制御部３１は、例えば、文章要約生成部２８が生成した文章要約を、クライアント端末１２及びカウンセラー端末１３に提示するよう画面生成部２５を制御したりする。さらに制御部３１は、例えば複数のユーザに対する応答でそれぞれ生成された文章要約等から、ＦＡＱ情報を生成するようＦＡＱ情報生成部２９を制御する。
　＜クライアント端末１２、カウンセラー端末１３：機能構成例＞
　次に、上述したクライアント端末１２、カウンセラー端末１３の機能構成について図を用いて説明する。図３は、本実施形態におけるクライアント端末、カウンセラー端末の機能構成の一例を示す図である。
　なお、本実施形態におけるクライアント端末１２、カウンセラー端末１３は、例えば通信ネットワーク１４等を用いてカウンセリング装置１１との接続可能な汎用のパーソナルコンピュータや、例えばｉＰｈｏｎｅ（登録商標）、スマートフォン等の携帯電話、ＰＤＡ（Ｐｅｒｓｏｎａｌ　Ｄａｔａ　Ａｓｓｉｓｔａｎｔ）等の情報通信端末等を用いることができるが、本実施の形態においてはこれに限定されるものではない。
　図３に示すクライアント端末１２、及びカウンセラー端末１３は、入力部４１と、出力部４２と、記録部４３と、撮像部４４と、音声入力部４５と、カウンセリング部４６と、送受信部４７と、制御部４８とを有するように構成される。
　入力部４１は、例えばユーザやカウンセラー等からのカウンセリング装置１１へのアクセス指示やカウンセリング実施指示等の各種指示の開始／終了等の入力を受け付ける。なお、入力部４１は、例えばパソコン等の汎用コンピュータであれば、キーボードやマウス等のポインティングデバイス等から構成される。
　出力部４２は、入力部４１に入力された内容や、入力内容に基づいて実行された内容等の出力を行う。なお、出力部４２は、例えばディスプレイやスピーカ等から構成される。更に、出力部４２は、プリンタ等の印刷機能を有していても良い。
　記録部４３は、本実施形態において必要となる各種情報を記録する。例えば、記録部４３は、カウンセリング装置１１へアクセスするためのアドレス情報等を記録する。
　撮像部４４は、例えばユーザとカウンセラーとが顔を見ながらやりとりするためのものであり、ユーザやカウンセラーの顔画像又は上半身等の所定の領域を撮影する。具体的には、クライアント端末１２の撮像部４４は、カウンセリングを受けるユーザを撮影し、カウンセラー端末１３の撮像部４４は、カウンセラーを撮影する。なお、撮像部４４は、例えば市販のデジタルカメラ等を用いることができるが、種類等については特に制限されるものではない。
　音声入力部４５は、例えばユーザとカウンセラーとが音声により会話するためのものであり、例えばマイク等を用いることができる。
　なお、撮像部４４及び音声入力部４５は、必要に応じて適宜設けられるものとし、例えばクライアント端末１２の環境やユーザが指定するカウンセリング内容等に応じて適宜設けられるものとする。
　カウンセリング部４６は、ユーザ又はカウンセラーからの指示に基づき、カウンセリング装置１１にアクセスし、例えばユーザが用いるクライアント端末１２とカウンセラーが用いるカウンセラー端末１３との間で双方向通信を行わせる。
　例えば、クライアント端末１２におけるカウンセリング部４６は、ユーザからの指示に基づき、送受信部４７を介してカウンセリング装置１１にアクセスし、カウンセリング装置１１から提供される各種画面を出力部４２に表示し、入力部４１によるユーザからの指示に基づき、カウンセラーを選定する。
　また、クライアント端末１２におけるカウンセリング部４６は、送受信部４７によりカウンセリング装置１１を介してカウンセラー端末１３と通信を行い、カウンセラーからのカウンセリングを受けたり、カウンセリング後のビューティプラン、文章要約、ＦＡＱ情報等を取得できるよう制御する。
　カウンセラー端末１３におけるカウンセリング部４６は、カウンセラーからの指示に基づき、カウンセリング装置１１に接続することで、クライアント端末１２のユーザがカウンセリング可能な状態（いわゆる待機状態）とする。
　また、カウンセラー端末１３におけるカウンセリング部４６は、例えばクライアント端末１２からカウンセリングの依頼があった場合に、カウンセリング装置１１から提供される各種画面を出力部４２に表示して、カウンセラーとクライアント端末１２のユーザとのカウンセリング等を実現させる。なお、カウンセラー端末１３におけるカウンセリング部４６は、具体的には、各種ライブ映像や動画、テキストデータの配信、コンテンツ共有等により、カウンセラーがユーザに対してカウンセリングが行えるよう制御する。
　すなわち、上述したクライアント端末１２及びカウンセラー端末１３の各種画面は、主にカウンセリング装置１１によって生成され、Ｗｅｂブラウザ等の出力部４２に表示されることで、ユーザやカウンセラーに対して提供される。
　送受信部４７は、通信ネットワーク１４等を用いて接続可能なカウンセリング装置１１から所望する音声、映像、テキストデータ等や、本発明におけるカウンセリング処理を実現するための実行プログラム等を取得するためのインタフェースである。また、送受信部４７は、クライアント端末１２又はカウンセラー端末１３で生成された各種情報を外部装置に送信することができる。
　制御部４８は、クライアント端末１２、カウンセラー端末１３の各構成部全体の制御を行う。例えば、制御部４８は、カウンセリング装置１１を介してユーザが使用するクライアント端末１２と、カウンセラーが使用するカウンセラー端末１３とが通信を行ってカウンセリング処理を実現するための各制御等を行う。
　＜ハードウェア構成＞
　ここで、上述したカウンセリング装置１１の各機能をコンピュータに実行させる実行プログラム（カウンセリングプログラム）を生成し、例えば汎用のパーソナルコンピュータ、サーバ等にインストールすることにより、本発明におけるカウンセリング処理等を実現することができる。図４は、本実施形態におけるカウンセリング処理が実現可能なハードウェア構成の一例を示す図である。
　図４におけるコンピュータ本体は、入力装置５１と、出力装置５２と、ドライブ装置５３と、補助記憶装置５４と、メモリ装置５５と、各種制御を行うＣｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ（ＣＰＵ）５６と、ネットワーク接続装置５７とを有するよう構成され、これらはシステムバスＢで相互に接続されている。
　入力装置５１は、例えばユーザ等が操作するキーボードやマウス等のポインティングデバイスを有しており、例えばユーザ等からのプログラムの実行等、各種操作信号を入力する。出力装置５２は、本発明における処理を行うコンピュータ本体を操作するのに必要な各種ウィンドウやデータ等を表示するディスプレイを有し、ＣＰＵ５６が実行する制御プログラムの実行経過や結果等を表示する。
　ここで、本実施の形態においてコンピュータ本体にインストールされる実行プログラムは、例えばＵｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ（ＵＳＢ）メモリやＣＤ－ＲＯＭ等の可搬型の記録媒体５８等により提供される。記録媒体５８は、ドライブ装置５３にセット可能であり、記録媒体５８に含まれる実行プログラムが、記録媒体５８からドライブ装置５３を介して補助記憶装置５４にインストールされる。
　補助記憶装置５４は、ハードディスク等のストレージ部であり、本発明における実行プログラムやコンピュータに設けられた制御プログラム等を蓄積し、必要に応じて入出力を行う。
　メモリ装置５５は、ＣＰＵ５６により補助記憶装置５４から読み出された実行プログラム等を格納する。なお、メモリ装置５５は、Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ（ＲＯＭ）やＲａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ（ＲＡＭ）等からなる。
　ＣＰＵ５６は、Ｏｐｅｒａｔｉｎｇ　Ｓｙｓｔｅｍ（ＯＳ）等の制御プログラム、及びメモリ装置５５に格納されている実行プログラムに基づいて、各種演算や各ハードウェア構成部とのデータの入出力等、コンピュータ全体の処理を制御することで、カウンセリングにおける各処理を実現する。なお、プログラム実行中に必要な各種情報等は、補助記憶装置５４から取得し、実行結果等を格納しても良い。
　ネットワーク接続装置５７は、通信ネットワーク１４等と接続することにより、実行プログラムを通信ネットワーク１４に接続されている他の端末等から取得したり、プログラムを実行することで得られた実行結果又は本発明における実行プログラム自体を他の端末等に提供したりする。
　上述したハードウェア構成により、本発明におけるカウンセリング処理を実行することが可能となる。また、実行プログラムをインストールすることにより、汎用のパーソナルコンピュータ等で本発明におけるカウンセリング処理を容易に実現することが可能となる。
　＜カウンセリング処理の一例＞
　次に、上述した本実施形態におけるカウンセリング処理の一例について、図を用いて説明する。図５は、本実施形態におけるカウンセリング処理の一例を示す図である。
　図５に示すカウンセリング処理では、ユーザ１１０とカウンセラー１１１との間でチャットしている様子が示されている。なお、図５の例では、上述した図２に示すカウンセリング装置１１の主要構成部に相当する内容について、同一の符号を付し、ここでの具体的な説明は省略する。
　図５に示すように、クライアント端末１２のユーザ１１０とカウンセラー端末１３のカウンセラー１１１との間では、例えば電話やテキスト、コンテンツ（例えば、映像や写真等）がやりとりされ、カウンセリングが行われる。
　ここでは、カウンセリング装置１１の動画・チャット制御部２６により、例えばクライアント端末１２とカウンセラー端末１３との間でのチャットやコンテンツ共有等が制御され、クライアント端末１２の表示画面１００やカウンセラー端末１３の表示画面１０１には、例えばカウンセラー１１１のライブ映像や、ユーザ１１０に提供されるビューティプランの内容、テキストチャット領域等が表示される。
　テキストチャット領域には、クライアント端末１２のユーザ１１０やカウンセラー端末１３のカウンセラー１１１によりテキスト入力又は音声入力された内容が示される。例えば、「カウンセラー：本日担当させていただきます○○です。ユーザ：宜しくお願いします。カウンセラー：本日の悩みは○○についてですね。ユーザ：はい、そうです。」等の内容である。
　なお、例えばテキスト入力の代わりに、電話音声等の音声（例えば、ＴＶ電話等から得られる音声等を含む）が入力された場合には、音声認識部２４により音声がテキストデータに変換され、変換されたテキストがテキストチャット領域に表示される。
　また、本実施形態では、上述したカウンセラー１１１とユーザ１１０とのやりとりから、ビューティプラン生成部２７によりユーザ１１０の目的や要望に応じたビューティプランが生成され、ユーザ１１０に提供される。
　また、本実施形態では、上述したテキスト表示されたテキストデータ等を蓄積し、例えば、ある一定の時間単位、所定のタイミングごと等に基づき、その時間まで蓄積されたテキストデータ全体に対して、文章要約生成部２８により要約が生成される。なお、画面上にテキスト表示されないカウンセラー１１１のＴＶ電話等の音声から変換されたテキストデータを蓄積して、同様に要約を生成しても良い。上述した要約が生成されるタイミングとしては、例えば、１回のカウンセリングごと、１日、１週間等の時間単位で行われるが、本実施の形態においてはこれに限定されるものではない。
　また、文章要約生成部２８における文章要約の生成では、図５に示すように、テキストデータとして得られる情報全てに対して文字解析等を行い、総括解析結果として得られたテキストデータの企業名、人名（ユーザ名）、用件、電話番号、対応内容等から応対文要約を生成することが可能である。なお、総括解析結果は、例えば文章毎に、ユーザによる入力かカウンセラーによる入力かを対応づけて得ることができる。
　このように、文章要約の生成では、例えば、カウンセラーの発言内容からユーザの用件を検出したり、対応内容を簡潔にしたり、人名、ユーザ名、住所、電話番号等をコンタクト情報として纏めることが可能である。なお、本実施形態における文章要約の内容等については、これに限定されるものではない。
　また、文章要約生成部２８で生成された文章要約は、例えばユーザごとにコンタクト応対履歴（応対履歴データ）として登録しても良く、その場合には、記録部２３等に蓄積される。なお、記録部２３には、ビューティプラン生成部２７により生成されたビューティプランや、ＦＡＱ情報生成部２９により生成されたＦＡＱ情報を蓄積しても良い。
　上述したコンタクト応対履歴や、生成されたビューティプランやＦＡＱ情報等は、今後のＷｅｂ上でのユーザに対する商品提案や、ユーザへのアフターフォローの推進、商品開発等に用いられる。
　＜カウンセリング処理手順＞
　ここで、本実施形態におけるカウンセリング処理手順について、フローチャートを用いて説明する。図６は、本実施形態におけるカウンセリング処理の流れを示すフローチャートである。
　図６の例では、ユーザのクライアント端末１２からカウンセリング装置１１にアクセスすると、クライアント端末１２の画面には、予め設定された分野やカウンセリング内容に対応した１又は複数のカウンセラーが表示され、ユーザの指示に基づき、カウンセリング内容に適した担当のカウンセラーが選定される（Ｓ１０）。なお、上述の処理は、例えば、クライアント端末１２のカウンセリング部４６により制御される。
　次に、カウンセリング装置１１の画面生成部２５は、選定されたカウンセラーとユーザとの間でカウンセリングを行うために、ユーザのクライアント端末１２と選定されたカウンセラー端末１３に対して、それぞれ対応する画面を生成する（Ｓ１１）。
　次に、カウンセリング装置１１の動画・チャット制御部２６は、クライアント端末１２とカウンセラー端末１３との間で動画・チャットを行うための制御を行う（Ｓ１２）。
　クライアント端末１２及びカウンセラー端末１３には、カウンセリング装置１１を介して、カウンセラーとユーザにより、それぞれテキスト、音声、映像等が適宜入力され（Ｓ１３）、各端末のカウンセリング部４６によりカウンセラーとユーザとの間でカウンセリングが行われるよう制御される。
　カウンセリング装置１１のビューティプラン生成部２７は、例えばユーザとカウンセラーとのチャットやカウンセリング等により得られる情報からビューティプランを生成する（Ｓ１４）。
　次に、カウンセリング装置１１は、カウンセリングを終了するか否かを判断し（Ｓ１５）、ユーザの指示等によりカウンセリングを終了しないと判断した場合（Ｓ１５において、ＮＯ）、Ｓ１３の処理に戻り、後続の処理を行う。
　また、カウンセリングを終了すると判断した場合（Ｓ１５において、ＹＥＳ）、カウンセリング装置１１の文章要約生成部２８は、例えばユーザとカウンセラーとの音声やテキストでのやりとりから文章要約を作成し（Ｓ１６）、ＦＡＱ情報生成部２９は、ＦＡＱ情報を生成する（Ｓ１７）。
　次に、カウンセリング装置１１は、Ｓ１６及びＳ１７の処理により得られた文章要約及びＦＡＱ情報を記録部２３に記録する（Ｓ１８）。
　つづいて、カウンセリング装置１１は、処理を終了するか否かを判断し（Ｓ１９）、終了しないと判断した場合（Ｓ１９において、ＮＯ）、Ｓ１０に戻り、例えば他のカウンセラー等が選定されて後続の処理を行う。また、処理を終了すると判断した場合（Ｓ１９において、ＹＥＳ）、本実施形態におけるカウンセリング処理を終了する。
　なお、上述したＳ１０の処理では、例えばカウンセラーごとにスキンケア、メーキャップ等の得意分野をユーザに提示する画面（カウンセラー紹介画面）を生成しておくことで、ユーザは、より専門性の高い要望に合ったカウンセラーを選定することが可能となる。
　＜画面生成例＞
　次に、本実施形態の画面生成部２５により生成される画面例について説明する。
　＜カウンセラー紹介画面＞
　図７は、カウンセラー紹介画面の一例を示す図である。図７の例では、画面生成部２５により生成されたカウンセラー紹介画面６０において、例えば分野ごとに１又は複数のカウンセラーがアドバイザーとして紹介されている。ユーザは、カウンセラー紹介画面６０に紹介されている各アドバイザーの顔や自己紹介、強み、経歴、資格等や、現在の接客状態（接客中・待機中）等を参考にして、自分のカウンセリング内容に適合した担当のアドバイザーを選定する。
　なお、アドバイザーの種類としては、例えばＡ：メーキャップアドバイザーや、Ｂ：スキンケアアドバイザー、Ｃ：トータルカウンセリング、Ｄ：トップスタイリスト（有料）等があるが、本実施の形態においてはこれに限定されるものではない。なお、「トップスタイリスト（有料）」とは、人気のアドバイザー（ここでは、スタイリスト）や特別な資格等を有するアドバイザー等について、更に指名料金として課金を行うことを意味する。すなわち、本実施形態では、アドバイザーごとに異なる課金設定を行うことが可能である。
　また、これらの分野は、カウンセラー紹介画面６０に示すように、タブ等を選択して画面を切り換えることができ、更に、各アドバイザーの顔写真を選択することで、その詳細情報を詳細画面６１に示すように表示させることが可能である。
　さらに、ここでは図示していないが、この画面には、上部に「はじめての方へ」、「フィッティング」、「カルテ」、「お問い合わせ」、「マイページ」、「ログアウト」、「ショッピングカート」等の項目が表示されており、ユーザが選択すると対応する画面が表示されるようにすることができる。また、一般的なＨＰと同様、この画面には、下部に「利用規約」、「ＦＡＱ」、「プライバシーポリシー」、「会社概要」、「サイトマップ」等の項目が表示されており、ユーザが選択すると対応する画面が表示されるようにすることができる。なお、「ＦＡＱ」については、例えばＦＡＱ情報生成部２９が生成した情報が表示されるようにすることができる。
　＜第１の動画・チャット画面例＞
　図８は、第１の動画・チャット画面例を示す図である。図８には、第１の動画・チャット画面例として、ユーザ画面７０と、カウンセラー画面７１とが示されている。
　図８に示すユーザ画面７０、カウンセラー画面７１には、共に画面生成部２５により生成されたユーザ１１０とカウンセラー１１１とのテキストによるチャット内容、ユーザ１１０に提供されるビューティプラン、カウンセリング内容やビューティプランに対応した商品画像、表示された商品の使用方法やカウンセリング内容に対応する顔のマッサージ方法等の動画が所定の位置に配置されて表示されている。
　また、カウンセラー画面７１には、上記の他、例えばユーザ用カルテ（お客様カルテ）等が表示されている。なお、本実施形態における各画面のレイアウト等については、これに限定されるものではない。
　図８の画面を用いた場合、ユーザ１１０は、テキスト入力によるチャットを用いて相談し、カウンセラーは、ユーザが入力したチャットの内容を画面から参照し、商品画像や動画によるコンテンツを活用して、テキスト入力により回答することでカウンセリングを行う。
　このように、本実施形態では、図８に示すような画面を用いることで、例えば肌の悩みや化粧品の使い方に対する疑問等のカウンセリング項目に対して、サイト内の商品画像や動画を使ってカウンセラー１１１が回答する相談サービスを提供することが可能となる。
　したがって、例えば先日購入した商品の正しい使用順序を知りたい場合や、オフィスで簡単にできる化粧直しの方法を知りたい場合等に、ユーザ１１０は、図８に示すような画面を用いて、カウンセラー１１１から提供されるテキストやコンテンツ（動画・商品画像等）等により、疑問や悩みを解決することが可能となる。
　＜第２の動画・チャット画面例＞
　図９は、第２の動画・チャット画面例を示す図である。図９には、第２の動画・チャット画面例として、ユーザ画面８０と、カウンセラー画面８１とが示されている。
　図９に示すユーザ画面８０、カウンセラー画面８１には、共に画面生成部２５により生成された例えばカウンセリング内容等に対応した商品画像、動画、ユーザ１１０に提供されるビューティプランが所定の位置に配置され、更にカウンセラー１１１の顔画像や名前が示されたカウンセラーライブ映像も所定の位置に配置されて表示されている。
　また、カウンセラー画面８１には、上記の他、例えばユーザ用カルテ（お客様カルテ）が表示されている。なお、本実施形態における各画面のレイアウト等については、これに限定されるものではない。
　図９の画面を用いた場合、ユーザ１１０は、例えば電話による音声やクライアント端末１２により表示されたコンテンツを共有する。また、カウンセラー１１１は、例えば電話による音声やＴＶ電話による自身のライブ動画の配信によりユーザ１１０に対してカウンセリングを行う。
　本実施形態では、図９に示すような画面を用いることで、例えばスキンケアやメーキャップの基礎知識やテクニック等について、サイト内の動画や商品画像を使って、カウンセラー１１１がユーザ１１０にレッスンを行うビューティレッスン等のコースを提供することが可能となる。すなわち、メーキャップ編には、例えば眉の描き方だけを集中的に教えてほしい場合や、メーキャップの基本テクニックを教えてほしい場合等が含まれる。また、スキンケア編には、例えば洗顔の泡立て方法を集中的に教えてほしい場合や、スキンケアの基本的な使い方を一連で教えてほしい場合等が含まれる。
　このようなカウンセリング項目に対して、ユーザ１１０は、図９に示すようなＴＶ電話によるカウンセラー１１１のライブ映像や電話による音声やコンテンツ共有等を用いてレッスンを受けることが可能となる。
　＜第３の動画・チャット画面例＞
　図１０は、第３の動画・チャット画面例を示す図である。図１０には、第３の動画・チャット画面例として、ユーザ画面９０と、カウンセラー画面９１とが示されている。
　図１０に示すユーザ画面９０、カウンセラー画面９１には、共に画面生成部２５により生成された商品画像、動画、ユーザに提供されるビューティプラン、カウンセラーライブ映像が所定の位置に配置され、更にユーザ画像も所定の位置に配置されて表示されている。
　また、カウンセラー画面９１には、上記の他、例えばユーザ用カルテ（お客様カルテ）が表示されている。なお、本実施形態における各画面のレイアウト等については、これに限定されるものではない。
　図１０の画面を用いた場合、ユーザ１１０及びカウンセラー１１１は、例えばＴＶ電話によりカウンセリングを行う。
　本実施形態では、図１０に示すような画面を用いることで、例えばユーザ１１０が持っている手持ちの化粧品を提示して上手に使いこなす方法や、組み合わせ方法等について、カウンセラー１１１がアドバイスするコースを提供することが可能となる。
　具体的には、ユーザ１１０の手持ちの化粧品の中から結婚式用のドレスに合うメークを一緒に選んでほしい場合や、アイシャドーが残ってしまう色の使い方をアドバイスしてほしい場合に、ユーザは、図１０に示すようなＴＶ電話によるユーザ１１０及びカウンセラー１１１のライブ映像を用いて、アドバイスを受けることが可能となる。
　また、図１０に示す画面を用いることで、ユーザ１１０の現在の肌状態やメークの現状を把握し、ユーザ１１０の魅力を引き出してきれいに磨くコースを提供することも可能となる。例えば、憧れのモデルに近づくためのメーク方法を教えてほしい場合や、一ヵ月後の同窓会にきれいな肌で参加したいので、それまでにどのようなお手入れをすれば良いか教えてほしい等のカウンセリング項目に対しても、適切なアドバイスを提供することが可能となる。
　上述したように、本実施形態では、店頭で行われるカウンセリングと同様に、リアルタイムに、ユーザの悩みや要望を取得し、ユーザの要望に応じた高度なカウンセリングを提供することが可能となる。また、ユーザの求める分野のカウンセラーから適切なカウンセリングを受けることが可能となると共に、ユーザの肌状態や商品購入履歴等の情報を用いてユーザに適したアドバイスを提供することが可能となる。
　更に、カウンセリングから得られる要約内容やＦＡＱ情報等を用いて、ユーザ一人ひとりに適切な商品提案を行ったり、商品開発につなげたりすることが可能となる。
　以上、本発明の好ましい実施例について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。
　以上の処理において、例えば、ユーザがクライアント端末１２からカウンセリング装置１１にアクセスし、カウンセラーによるカウンセリングを受ける場合、ユーザは、ユーザの識別情報等を用いて予めログインするようにしてもよい。また、例えばユーザがカウンセラーを選択してユーザとカウンセラーとのＴＶ電話やチャット等の対話が開始された後に、カウンセラーがユーザの識別情報を入力したり、ユーザとカウンセラーとの間の対話に基づき、ユーザを特定するようにしてもよい。これにより、そのユーザのユーザ情報が記録部２３に記憶されている場合、ユーザの識別情報に基づき、ユーザ情報を特定することができる。制御部３１は、ユーザ情報が記録部２３に記憶されている場合、ユーザの識別情報に基づき、記録部２３からそのユーザのユーザ情報を読み出し、画面生成部２５や動画・チャット制御部２６により、ユーザ情報が画面に表示されるようにすることができる。これにより、カウンセラーは、ユーザ情報に応じた対応をすることができるようになる。
　また、ビューティプラン生成部２７による処理の一例を説明する。ここでは、ビューティプラン生成部２７は、ユーザとカウンセラーとの対話の内容に基づき、そのユーザに推奨する商品を提示する処理を行う。
　図１１は、ビューティプラン生成部２７及び記録部２３の構成の一例を部分的に示すブロック図である。
　ビューティプラン生成部２７は、キーワード取得部１２０、推奨商品抽出部１２２、及び推奨商品提示処理部１２４を含む。また、記録部２３は、商品情報記憶部１３０を含む。商品情報記憶部１３０は、上述した、カウンセラーがユーザに対してカウンセリングするために用いる商品の説明や画像等の商品情報を記憶する。商品情報記憶部１３０は、複数の商品の商品情報を、当該商品のキーワードに対応づけて記憶する構成とすることができる。
　キーワード取得部１２０は、音声認識部２４や動画・チャット制御部２６により取得されたユーザとカウンセラーとの対話の内容に基づき、例えば文章要約生成部２８が生成した応対文要約からキーワードを抽出する。なお、キーワードは、例えばユーザとの対話に基づき、カウンセラーが入力する構成とすることもできる。この場合、キーワード取得部１２０は、カウンセラーがカウンセラー端末１３を介して入力したキーワードを取得する。
　推奨商品抽出部１２２は、キーワード取得部１２０が抽出又は取得したキーワードに基づき、当該キーワードに対応づけられている商品の商品情報を商品情報記憶部１３０から読み出す。推奨商品提示処理部１２４は、推奨商品抽出部１２２が読み出した商品情報を、例えば画面生成部２５によりカウンセリング装置１１やクライアント端末１２に表示させる。
　なお、商品情報は、カウンセリング装置１１及びクライアント端末１２に同様に表示させるのではなく、まず複数の商品の商品情報をカウンセラーに提示し、カウンセラーが選択した商品の商品情報をユーザ（及びカウンセラー）に提示するようにすることができる。
　具体的には、例えば、まず推奨商品抽出部１２２が、キーワード取得部１２０が取得したキーワードに基づき複数の商品の商品情報を候補商品の商品情報として商品情報記憶部１３０から読み出し、推奨商品提示処理部１２４が、その複数の候補商品の商品情報をカウンセラー端末１３に提示する。カウンセラーは、カウンセラー端末１３の入力部４１を介して、ユーザに提示する商品を提示された商品の商品情報の中から選択する。カウンセリング装置１１は、カウンセリング装置１１の入力部２１を介してカウンセラーの選択を受け付ける。推奨商品提示処理部１２４は、複数の候補商品のうち選択された候補商品の商品情報をクライアント端末１２に提示する。このとき、推奨商品提示処理部１２４は、カウンセラー端末１３にもクライアント端末１２に提示するのと同様の候補商品の商品情報を提示することができる。
　なお、カウンセラーは、ユーザと音声で対話している場合は、選択する商品の商品名を発話することにより、商品を選択するようにすることもできる。
　以上で説明したカウンセリングシステム１０の各構成要素は、ハードウエア単位の構成ではなく、機能単位のブロックを示している。カウンセリングシステム１０の各構成要素は、任意のコンピュータのＣＰＵ、メモリ、メモリにロードされた本図の構成要素を実現するプログラム、そのプログラムを格納するハードディスクなどの記憶ユニット、ネットワーク接続用インタフェースを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。
　また、以上で説明したカウンセリング装置１１、クライアント端末１２、カウンセラー端末１３の各構成要素は、それぞれ一つの物理的な端末内に含まれる必要はなく、ネットワーク等を介して接続された複数の端末に分散された構成とすることができる。例えば、カウンセリング装置１１の文章要約生成部２８、ＦＡＱ情報生成部２９、音声認識部２４等は、それぞれ専用のサーバ内に設けた構成等とすることもできる。
　さらに、各クライアント端末１２とカウンセラー端末１３との間のデータのやりとりは、必ずしもカウンセリング装置１１を介して行われる必要はなく、カウンセリング装置１１が処理を行うために必要なデータが適宜クライアント端末１２及びカウンセラー端末１３からカウンセリング装置１１に送信され、カウンセリング装置１１からのデータがクライアント端末１２及びカウンセラー端末１３に送信される構成となっていればよい。
　さらに、以下の形態も含む。
　一つの形態によれば、ユーザが用いるクライアント端末と、カウンセラーが用いるカウンセラー端末と、前記クライアント端末及び前記カウンセラー端末を中継してカウンセリングを管理するカウンセリング装置とを含むカウンセリングシステムにおいて、前記カウンセリング装置は、前記ユーザ及び前記カウンセラーの音声を認識してテキストに変換する音声認識部と、前記ユーザと前記カウンセラーとの動画及びチャット内容を制御する動画・チャット制御部と、前記カウンセラーによる前記ユーザへのカウンセリング内容に対応する文章要約を行う文章要約生成部と、前記カウンセリング内容に基づいてＦＡＱ情報を生成するＦＡＱ情報生成部と、前記音声認識部、前記動画・チャット制御部、前記文章要約生成部、及び前記ＦＡＱ情報生成部のうち、少なくとも１つを制御する制御部とを有する。
　また別の形態によれば、ユーザが用いるクライアント端末と、カウンセラーが用いるカウンセラー端末と、前記クライアント端末及び前記カウンセラー端末を中継してカウンセリングを管理するカウンセリング装置において、前記ユーザ及び前記カウンセラーの音声を認識してテキストに変換する音声認識部と、前記ユーザと前記カウンセラーとの動画及びチャット内容を制御する動画・チャット制御部と、前記カウンセラーによる前記ユーザへのカウンセリング内容に対応する文章要約を行う文章要約生成部と、前記カウンセリング内容に基づいてＦＡＱ情報を生成するＦＡＱ情報生成部と、前記音声認識部、前記動画・チャット制御部、前記文章要約生成部、及び前記ＦＡＱ情報生成部のうち、少なくとも１つを制御する制御部とを有する。
　また別の形態によれば、上述したカウンセリングシステムにおけるクライアント端末において、ユーザからのカウンセリング実行指示を入力する入力部と、前記入力部により得られるカウンセリング実行指示により、前記カウンセリング装置にアクセスし、複数のカウンセラーのうち、前記ユーザが選定したカウンセラーと通信を行うカウンセリング部と、前記カウンセリング部により前記カウンセリング装置から提供される画面を出力する出力部とを有する。
　また別の形態によれば、コンピュータを、上述したカウンセリング装置が有する各手段として機能させるためのカウンセリングプログラムが提供される。
　今回開示された実施の形態はすべての点で例示であって、制限的なものでは無いと考えられるべきである。本発明の範囲は、上記した意味では無く、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
　本国際出願は２０１１年８月３日に出願された日本国特許出願２０１１－１７０４３７号に基づく優先権を主張するものであり、その全内容をここに援用する。

Claims (20)

  1. 　ユーザが用いるクライアント端末と、カウンセラーが用いるカウンセラー端末と、前記クライアント端末及び前記カウンセラー端末との間のカウンセリングを管理するカウンセリング装置とを含むカウンセリングシステムであって、
    　前記カウンセリング装置は、
    　前記ユーザ及び前記カウンセラーの音声を認識してテキストデータに変換する音声認識部と、
    　前記ユーザと前記カウンセラーとの動画及びチャット内容を制御する動画・チャット制御部と、
    　前記音声認識部が変換したテキストデータ、または前記動画・チャット制御部により制御されるチャット内容のテキストデータに基づき、前記カウンセラーによる前記ユーザへのカウンセリング内容に対応する文章要約を行う文章要約生成部と、
    　前記音声認識部、前記動画・チャット制御部、及び前記文章要約生成部のうち、少なくとも１つを制御する制御部と、
    を含むカウンセリングシステム。
  2. 　前記カウンセリング装置は、
    　前記カウンセラーによる前記ユーザに対するカウンセリング時に使用される画面を生成する画面生成部を有し、
    　前記画面生成部は、
    　前記動画・チャット制御部におけるチャット時に使用される画面を生成する請求項１に記載のカウンセリングシステム。
  3. 　前記画面生成部は、
    　前記ユーザからの疑問、悩み相談、及びビューティレッスンのうち少なくとも１つを含むカウンセリング項目に対応させて前記クライアント端末と前記カウンセラー端末とに表示する画面を生成する請求項２に記載のカウンセリングシステム。
  4. 　前記画面生成部は、
    　予め設定される分野に対応するカウンセラーのうち、前記ユーザに特定のカウンセラーを選択させるための画面を生成する請求項２に記載のカウンセリングシステム。
  5. 　前記カウンセリング装置は、
    　前記カウンセラーによる前記ユーザに対するカウンセリング内容に基づいて、化粧品の商品情報又は美容方法を提案するビューティプランを生成するビューティプラン生成部を有し、
    　前記画面生成部は、
    　前記ビューティプラン生成部により生成されたビューティプランを、前記クライアント端末及び前記カウンセラー端末で共有する画面を生成し、前記ユーザに前記ビューティプランを提示する請求項２に記載のカウンセリングシステム。
  6. 　前記ビューティプラン生成部は、
    　前記文章要約生成部が生成した文書要約から抽出されたキーワードに基づき、複数の商品の商品情報を各商品のキーワードに対応づけて記憶する商品情報記憶部から、複数の商品の商品情報を候補商品の商品情報として抽出する推奨商品抽出部と、
    　前記推奨商品抽出部が抽出した複数の候補商品の商品情報を前記カウンセラー端末に提示するとともに、前記カウンセラー端末からの選択に基づき、前記複数の候補商品のうち選択された候補商品の商品情報を前記クライアント端末に提示する推奨商品提示処理部と、
    を含む請求項５に記載のカウンセリングシステム。
  7. 　前記カウンセリング装置は、
    　前記文章要約生成部により得られる文章要約を当該ユーザの識別情報に対応づけて記録する記録部を有する請求項１に記載のカウンセリングシステム。
  8. 　前記記録部は、前記ユーザのカウンセリングデータ、前記ユーザの商品購入履歴、前記ユーザの肌情報、及び前記ユーザの応対履歴データのうち少なくとも１つを含むユーザ情報のデータを当該ユーザの識別情報に対応づけて記録し、
    　前記カウンセリング装置は、前記記録部に記録されたデータを用いて、前記カウンセラーによる前記ユーザに対するカウンセリングを管理する請求項７に記載のカウンセリングシステム。
  9. 　前記カウンセリング内容に基づいてＦＡＱ情報を生成するＦＡＱ情報生成部をさらに含み、
    　前記制御部は、前記ＦＡＱ情報生成部を制御する請求項１に記載のカウンセリングシステム。
  10. 　ユーザが用いるクライアント端末及びカウンセラーが用いるカウンセラー端末との間のカウンセリングを管理するカウンセリング装置であって、
    　前記ユーザ及び前記カウンセラーの音声を認識してテキストデータに変換する音声認識部と、
    　前記ユーザと前記カウンセラーとの動画及びチャット内容を制御する動画・チャット制御部と、
    　前記音声認識部が変換したテキストデータ、または前記動画・チャット制御部により制御されるチャット内容のテキストデータに基づき、前記カウンセラーによる前記ユーザへのカウンセリング内容に対応する文章要約を行う文章要約生成部と、
    を含むカウンセリング装置。
  11. 　前記カウンセラーによる前記ユーザに対するカウンセリング時に使用される画面を生成する画面生成部を有し、
    　前記画面生成部は、
    　前記動画・チャット制御部におけるチャット時に使用される画面を生成する画面生成部を有する請求項１０に記載のカウンセリング装置。
  12. 　前記画面生成部は、
    　前記ユーザからの疑問、悩み相談、及びビューティレッスンのうち少なくとも１つを含むカウンセリング項目に対応させて前記クライアント端末と前記カウンセラー端末とに表示する画面を生成する請求項１１に記載のカウンセリング装置。
  13. 　前記画面生成部は、
    　予め設定される分野に対応するカウンセラーのうち、前記ユーザに特定のカウンセラーを選択させるための画面を生成する請求項１１に記載のカウンセリング装置。
  14. 　前記カウンセラーによる前記ユーザに対するカウンセリング内容に基づいて、化粧品の商品情報又は美容方法を提案するビューティプランを生成するビューティプラン生成部を有し、
    　前記画面生成部は、
    　前記ビューティプラン生成部により生成されたビューティプランを、前記クライアント端末及び前記カウンセラー端末で共有する画面を生成し、前記ユーザに前記ビューティプランを提示する請求項１１に記載のカウンセリング装置。
  15. 　前記ビューティプラン生成部は、
    　前記文章要約生成部が生成した文書要約から抽出されたキーワードに基づき、複数の商品の商品情報を各商品のキーワードに対応づけて記憶する商品情報記憶部から、複数の商品の商品情報を候補商品の商品情報として抽出する推奨商品抽出部と、
    　前記推奨商品抽出部が抽出した複数の候補商品の商品情報を前記カウンセラー端末に提示するとともに、前記カウンセラー端末からの選択に基づき、前記複数の候補商品のうち選択された候補商品の商品情報を前記クライアント端末に提示する推奨商品提示処理部と、
    を含む請求項１４に記載のカウンセリング装置。
  16. 　前記文章要約生成部により得られる文章要約を当該ユーザの識別情報に対応づけて記録する記録部を有する請求項１０に記載のカウンセリング装置。
  17. 　前記記録部は、前記ユーザのカウンセリングデータ、前記ユーザの商品購入履歴、前記ユーザの肌情報、及び前記ユーザの応対履歴データのうち少なくとも１つのデータを当該ユーザの識別情報に対応づけて記録し、
    　前記記録部に記録されたデータを用いて、前記カウンセラーによる前記ユーザに対するカウンセリングを管理する請求項１６に記載のカウンセリング装置。
  18. 　前記カウンセリング内容に基づいてＦＡＱ情報を生成するＦＡＱ情報生成部をさらに含む請求項１０に記載のカウンセリング装置。
  19. 　請求項１に記載のカウンセリングシステムにおけるクライアント端末において、
    　ユーザからのカウンセリング実行指示を入力する入力部と、
    　前記入力部により得られるカウンセリング実行指示により、前記カウンセリング装置にアクセスし、複数のカウンセラーのうち、前記ユーザが選定したカウンセラーと通信を行うカウンセリング部と、
    　前記カウンセリング部により前記カウンセリング装置から提供される画面を出力する出力部とを有することを特徴とするクライアント端末。
  20. 　コンピュータを、請求項１０に記載のカウンセリング装置が有する各手段として機能させるためのカウンセリングプログラムを記憶する記録媒体。
PCT/JP2012/069235 2011-08-03 2012-07-27 カウンセリングシステム、カウンセリング装置、及びクライアント端末 WO2013018731A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-170437 2011-08-03
JP2011170437A JP5897277B2 (ja) 2011-08-03 2011-08-03 カウンセリングシステム、カウンセリング装置、クライアント端末、及びカウンセリングプログラム

Publications (1)

Publication Number Publication Date
WO2013018731A1 true WO2013018731A1 (ja) 2013-02-07

Family

ID=47629254

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/069235 WO2013018731A1 (ja) 2011-08-03 2012-07-27 カウンセリングシステム、カウンセリング装置、及びクライアント端末

Country Status (3)

Country Link
JP (1) JP5897277B2 (ja)
TW (1) TW201319998A (ja)
WO (1) WO2013018731A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3579113A1 (en) * 2018-06-06 2019-12-11 Perfect Corp. Systems and methods for conducting makeup consultation sessions
CN110570224A (zh) * 2018-06-06 2019-12-13 英属开曼群岛商玩美股份有限公司 执行于计算设备的系统、方法及存储媒体

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6212533B2 (ja) * 2015-12-28 2017-10-11 株式会社オプティム 画面共有システム、画面共有方法、および画面共有プログラム
KR20180060872A (ko) * 2016-11-01 2018-06-07 주식회사 트라이패스 실시간 상담을 제공하기 위한 방법 및 서버
EP4125029B1 (en) 2017-03-23 2024-09-04 Samsung Electronics Co., Ltd. Electronic apparatus, controlling method of thereof and non-transitory computer readable recording medium
CN106993090B (zh) * 2017-03-28 2020-09-25 联想(北京)有限公司 消息处理方法及电子设备
JP6495514B1 (ja) * 2018-05-29 2019-04-03 クックパッド株式会社 情報処理システム、情報処理装置、情報処理方法、およびプログラム
JP7236669B2 (ja) * 2018-07-23 2023-03-10 パナソニックＩｐマネジメント株式会社 音声認識データ処理装置、音声認識データ処理システムおよび音声認識データ処理方法
KR102137155B1 (ko) * 2018-11-20 2020-07-23 이상엽 음성인식을 이용한 통화 서비스 시스템 및 방법
WO2023095222A1 (ja) * 2021-11-24 2023-06-01 国立大学法人 東京大学 情報処理システム、情報処理方法及びプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002041831A (ja) * 2000-07-28 2002-02-08 Shiyuu Uemura Keshohin:Kk 化粧品販売方法、化粧品販売システムおよび情報記録媒体
JP2002149815A (ja) * 2000-11-10 2002-05-24 Shimazu S D Kk 自動受付装置
JP2003044715A (ja) * 2001-05-24 2003-02-14 Kanebo Ltd 体関連カウンセリング方法
JP2009176302A (ja) * 2008-01-23 2009-08-06 Palo Alto Research Center Inc 推薦システム用の時間情報および場所情報の言語抽出
JP2011087005A (ja) * 2009-10-13 2011-04-28 Neikusu:Kk 通話音声要約生成システム、その方法及び通話音声要約生成プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002041831A (ja) * 2000-07-28 2002-02-08 Shiyuu Uemura Keshohin:Kk 化粧品販売方法、化粧品販売システムおよび情報記録媒体
JP2002149815A (ja) * 2000-11-10 2002-05-24 Shimazu S D Kk 自動受付装置
JP2003044715A (ja) * 2001-05-24 2003-02-14 Kanebo Ltd 体関連カウンセリング方法
JP2009176302A (ja) * 2008-01-23 2009-08-06 Palo Alto Research Center Inc 推薦システム用の時間情報および場所情報の言語抽出
JP2011087005A (ja) * 2009-10-13 2011-04-28 Neikusu:Kk 通話音声要約生成システム、その方法及び通話音声要約生成プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MASARU OYAMADA: "2011 Nen ''Chat Jidai'' Torai !? Case Study 1 Kabushiki Kaisha Ipsa Chat System no Donyu de", `REAL TIME COUNSELING GA UKERARERU KESHOHIN TSUHAN SITE' O JITSUGEN, vol. 177, 25 January 2011 (2011-01-25), pages 14 - 15 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3579113A1 (en) * 2018-06-06 2019-12-11 Perfect Corp. Systems and methods for conducting makeup consultation sessions
CN110570224A (zh) * 2018-06-06 2019-12-13 英属开曼群岛商玩美股份有限公司 执行于计算设备的系统、方法及存储媒体

Also Published As

Publication number Publication date
TW201319998A (zh) 2013-05-16
JP2013037401A (ja) 2013-02-21
JP5897277B2 (ja) 2016-03-30

Similar Documents

Publication Publication Date Title
WO2013018731A1 (ja) カウンセリングシステム、カウンセリング装置、及びクライアント端末
US11825023B2 (en) Method and system for virtual assistant conversations
US9560203B2 (en) System and method for providing customer support on a user interface
US8435038B2 (en) Methods and systems for teaching a practical skill to learners at geographically separate locations
KR101133822B1 (ko) 무선통신단말을 이용한 발달성 장애치료 방법 및 이를 구현한 시스템
KR101899921B1 (ko) 온라인 한국어 학습 시스템 및 온라인 한국어 학습 방법
WO2018074037A1 (ja) 情報処理システム
JP2009151766A (ja) ライフアドバイザ支援システム、アドバイザ側端末システム、認証サーバ、サーバ、支援方法、及びプログラム
US20170185365A1 (en) System and method for screen sharing
JP2012160793A (ja) テレビ会議システム及びテレビ会議用装置並びにプログラム
CN111045510A (zh) 基于增强现实的人机交互方法及系统
CN107783650A (zh) 一种基于虚拟机器人的人机交互方法及装置
KR20180093385A (ko) 애플리케이션을 이용한 교육 서비스 제공 방법
JP7123448B1 (ja) 情報処理方法、コンピュータプログラム及び情報処理装置
US10839801B2 (en) Configuration for remote multi-channel language interpretation performed via imagery and corresponding audio at a display-based device
WO2021157530A1 (ja) 対話ユーザの感情情報の提供装置
JP2009268764A (ja) ゴルフレッスン支援システム
JP7170291B1 (ja) 情報処理方法、プログラム及び情報処理装置
US20180137586A1 (en) Coaching support system and method
JPH10293709A (ja) 情報処理装置及び記憶媒体
WO2020246446A1 (ja) 定性調査を支援するためのシステム、方法、及びプログラム
US20240127970A1 (en) Psychological counseling service method and user terminal
JP2006079195A (ja) カウンセリング支援システム
JP2024141551A (ja) 学習支援システム
Liu et al. Design and Implementation of Wechat-based Mobile Intelligent Question-answering System

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12819764

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12819764

Country of ref document: EP

Kind code of ref document: A1