JP7389070B2 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
JP7389070B2
JP7389070B2 JP2021009844A JP2021009844A JP7389070B2 JP 7389070 B2 JP7389070 B2 JP 7389070B2 JP 2021009844 A JP2021009844 A JP 2021009844A JP 2021009844 A JP2021009844 A JP 2021009844A JP 7389070 B2 JP7389070 B2 JP 7389070B2
Authority
JP
Japan
Prior art keywords
predetermined facility
data
information processing
store
predetermined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021009844A
Other languages
English (en)
Other versions
JP2022113535A (ja
Inventor
順 日置
英男 長谷川
新太郎 大崎
洋明 佐々木
昌彦 宇井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Toyota Mapmaster Inc
Original Assignee
Toyota Motor Corp
Toyota Mapmaster Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp, Toyota Mapmaster Inc filed Critical Toyota Motor Corp
Priority to JP2021009844A priority Critical patent/JP7389070B2/ja
Priority to US17/573,704 priority patent/US20220237624A1/en
Priority to CN202210040130.2A priority patent/CN114792245A/zh
Publication of JP2022113535A publication Critical patent/JP2022113535A/ja
Application granted granted Critical
Publication of JP7389070B2 publication Critical patent/JP7389070B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/01Customer relationship services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0282Rating or review of business operators or products
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00Speaker identification or verification techniques
    • G10L17/26Recognition of special voice characteristics, e.g. for use in lie detectors; Recognition of animal voices
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L21/16Transforming into a non-visible representation
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/72Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for transmitting results of analysis
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78Detection of presence or absence of voice signals
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78Detection of presence or absence of voice signals
    • G10L25/84Detection of presence or absence of voice signals for discriminating voice from noise
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Strategic Management (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本開示は、施設の来客状況を把握するための技術に関する。
特許文献1には、店舗の状況を特定し出力する情報処理装置に関する技術が開示されている。特許文献1に開示の技術では、情報処理装置が、店舗に設置されたマイクにより生成された音声データを店舗生情報として取得する。情報処理装置は、取得した音声データに基づき店舗のうるささを特定する。また、情報処理装置は、特定した店舗のうるささを店舗の状況として出力する。
国際公開第2018/168119
本開示の目的は、所定の施設における来客状況を把握することを可能とすることである。
本発明の第1の態様に係る情報処理装置は、
所定の施設内において集音された音データを取得することと、
前記所定の施設内における人の発話によって生じた音声データを前記音データから抽出することと、
前記音声データに基づいて前記所定の施設における来客状況を評価することと、
を実行する制御部を備える。
本発明の第2の態様に係る情報処理方法は、
コンピュータによって実行される情報処理方法であって、
所定の施設内において集音された音データを取得することと、
前記所定の施設内における人の発話によって生じた音声データを前記音データから抽出することと、
前記音声データに基づいて前記所定の施設における来客状況を評価することと、
を含む。
本発明の第3の態様に係るプログラムは、
所定の施設内において集音された音データを取得することと、
前記所定の施設内における人の発話によって生じた音声データを前記音データから抽出することと、
前記音声データに基づいて前記所定の施設における来客状況を評価することと、
をコンピュータに実行させる。
本開示によれば、所定の施設における来客状況を把握することが可能となる。
情報提供システムの概略構成を示す図である。 第1実施形態に係る管理サーバおよびユーザ端末それぞれの機能構成の一例を概略的に示すブロック図である。 店舗情報のテーブル構成の一例を示す図である。 第1実施形態に係る情報処理のフローを示すフローチャートである。 第2実施形態に係る管理サーバの機能構成の一例を概略的に示すブロック図である。 第2実施形態の変形例に係る管理サーバの機能構成の一例を概略的に示すブロック図である。 店舗情報データベースに格納に格納されている店舗情報のテーブル構成の一例を示す図である。 第3実施形態に係る管理サーバの機能構成の一例を概略的に示すブロック図である。 ユーザ端末において指定店舗についての合成データが出力されたときの様子の一例を示す図である。 第3実施形態に係る情報処理のフローを示すフローチャートである。
本開示に係る情報処理装置は制御部を備える。制御部は、所定の施設内において集音された音データを取得する。ここで、所定の施設は、ユーザが利用することを検討中の施設であってもよい。音データは、所定の施設内に設置されたマイク等によって集音される。所定の施設内において集音された音データには、所定の施設内における人の発話によって生じた音声データ(以下、単に「音声データ」と称する場合もある。)が含まれる。ただし、音データには、音声データ以外の音に関するデータ(以下、「背景音データ」と称する場合もある。)も含まれる。背景音データは、例えば、所定の施設内での作業に伴って生じた音または外部から所定の施設内に流れ込んだ音のデータである。
そこで、制御部は、取得された音データから音声データを抽出する。そして、制御部は、抽出された音声データに基づいて所定の施設における来客状況を評価する。
上記のとおり、制御部によって抽出される音声データは、所定の施設内における人(すなわち、所定の施設内に存在する来客)の発話によって生じた音声に関するデータである。そのため、音声データは、所定の施設内において集音された音データそのものよりも、所定の施設における来客状況との相関が高い。そのため、例えば、音声データによれば、所定の施設内における人の発話に起因するうるささを評価することができる。また、音声データによれば、所定の施設における客層を評価することができる。
また、所定の施設における来客状況を評価するために、所定の施設内を撮像した画像データを用いることが考えられる。しかしながら、所定の施設内に存在する来客のプライバシーの保護を考慮すると、所定の施設内の画像を撮像することは好ましくない。これに対し、音声データを用いることで、所定の施設内を撮像した画像データを用いることなく、所定の施設における来客状況を評価することができる。そのため、所定の施設内に存在する来客のプライバシーの保護を図ることがきる。
したがって、本開示によれば、所定の施設における来客状況を把握することが可能となる。
以下、本開示の具体的な実施形態について図面に基づいて説明する。本実施形態に記載されている構成部品の寸法、材質、形状、および、その相対配置等は、特に記載がない限りは本開示の技術的範囲をそれらのみに限定する趣旨のものではない。
<第1実施形態>
(システムの概略)
図1は、本実施形態に係る情報提供システムの概略構成を示す図である。情報提供システムは、店舗の来客状況をユーザに提供するためのシステムである。情報提供システム1は、ユーザ端末100、管理サーバ300、および複数の店舗それぞれに設置されたマイク200を含んで構成される。ここで、マイク200が設置されている各店舗は飲食店である。
情報提供システム1においては、ユーザ端末100、管理サーバ300、および各マイク200がネットワークN1によって相互に接続される。ネットワークN1としては、例えば、インターネット等の世界規模の公衆通信網であるWAN(Wide Area Network)、または携帯電話等の電話通信網が採用されてもよい。
各マイク200は店舗内おいて集音する。また、マイク200は、集音した音データをネットワークN1を介して管理サーバ300に送信することができる。ユーザ端末100は、ユーザが所持または操作している端末である。ユーザ端末100としては、スマートフォン、タブレットコンピュータ、またはウェアラブル端末を例示することができる。ユーザ端末100は、ユーザによって指定された店舗を示す指定情報をネットワークN1を介して管理サーバ300に送信することができる。なお、以下においては、ユーザによって指定された店舗を「指定店舗」と称する場合もある。
管理サーバ300は、店舗の来客状況を評価しユーザに提供するためのサーバ装置である。管理サーバ300は、一般的なコンピュータを含んで構成される。管理サーバ300を構成するコンピュータは、プロセッサ301、主記憶部302、補助記憶部303、および通信インターフェース(通信I/F)304を有する。
ここで、プロセッサ301は、例えば、CPU(Central Processing Unit)またはD
SP(Digital Signal Processor)である。主記憶部302は、例えば、RAM(Random
Access Memory)である。補助記憶部303は、例えば、ROM(Read Only Memory)、HDD(Hard Disk Drive)、またはフラッシュメモリである。また、補助記憶部303
は、リムーバブルメディア(可搬記録媒体)を含んでもよい。ここで、リムーバブルメディアは、例えば、USBメモリ、SDカード、または、CD-ROM、DVDディスク、若しくはブルーレイディスクのようなディスク記録媒体である。通信I/F304は、例えば、LAN(Local Area Network)インターフェースボード、または無線通信のための無線通信回路である。
補助記憶部303には、オペレーティングシステム(OS)、各種プログラム、および各種情報テーブル等が格納されている。そして、プロセッサ301が、補助記憶部303に記憶されたプログラムを主記憶部302にロードして実行することによって、後述するような、店舗の来客状況を評価する制御および評価結果をユーザに提供するための制御が実現される。ただし、管理サーバ300における一部または全部の機能はASICやFPGAのようなハードウェア回路によって実現されてもよい。なお、管理サーバ300は、必ずしも単一の物理的構成によって実現される必要はなく、互いに連携する複数台のコンピュータによって構成されてもよい。なお、本実施形態においては、管理サーバ300が、本開示に係る「情報処理装置」に相当する。
管理サーバ300は、指定店舗に設置されたマイク200から音データを受信する。そして、管理サーバ300は、受信した音データに基づいて指定店舗の来客状況を評価する。なお、管理サーバ300において実行される来客状況の評価方法の詳細については後述する。
そして、管理サーバ300は、評価結果として得られた指定店舗の来客状況を店舗情報としてネットワークN1を介してユーザ端末100に送信する。ユーザ端末100は、管理サーバ300から受信した店舗情報を出力する。これにより、ユーザは、自身が指定した指定店舗の来客状況を把握することができる。
(機能構成)
次に、情報提供システム1を構成する管理サーバ300およびユーザ端末100それぞれの機能構成について図2に基づいて説明する。図2は、本実施形態に係る管理サーバ300およびユーザ端末100それぞれの機能構成の一例を概略的に示すブロック図である。
(管理サーバ)
管理サーバ300は通信部310および制御部320を有している。通信部310は、管理サーバ300をネットワークN1に接続する機能を有する。通信部310は通信I/F304によって実現することができる。制御部320は、管理サーバ300を制御するための演算処理を行う機能を有する。制御部320は、プロセッサ301によって実現することができる。
制御部320は、ユーザ端末100から送信された指定情報を通信部310を用いて受信する処理を行う。指定情報には、指定店舗を特定するための識別情報である店舗IDが
含まれている。また、制御部320は、ユーザ端末100から受信した指定情報に示されている指定店舗に設置されたマイク200に対して通信部310を用いて依頼情報を送信する処理を行う。依頼情報は、指定店舗内においてマイク200によって集音された音データの送信を依頼するための情報である。また、制御部320は、依頼情報を受信したマイク200から送信された音データを通信部310を用いて受信する処理を行う。これにより、管理サーバ300は、指定店舗に設置されたマイク200によって集音された音データを受信することができる。
また、制御部320は、取得部321、抽出部322、および評価部323を機能部として含んでいる。取得部321は、マイク200から通信部310を介して受信した指定店舗の音データを取得する。ここで、指定店舗の音データには、指定店舗内に存在する人の発話によって生じた音声データおよび背景音データが含まれている。
抽出部322は、取得部321が取得した指定店舗の音データから音声データを抽出するために抽出処理を実行する。抽出処理においては、音データから音声データを抽出する方法として公知のどのような方法を採用してもよい。例えば、抽出処理は、音データを音声データと背景音データとに分離することで音声データを抽出する処理であってもってもよい。また、抽出処理は、音データから背景音データを削除することで音声データを抽出する処理であってもってもよい。
そして、評価部323は、抽出部322が抽出した指定店舗の音声データに基づいて、指定店舗の来客状況を評価するための評価処理を実行する。具体的には、評価部323は、来客状況として、指定店舗内における人の発話に起因するうるささ(以下、単に「うるささ」と称する場合もある。)、および、指定店舗における客層(以下、単に「客層」と称する場合もある。)を評価する。うるささは、例えば、音の大きさのレベルで表すことができる。うるささは、音声データにおける音の大きさ等に基づいて評価することができる。また、客層は、例えば、指定店舗内に存在する人々(来客)の男女比または年齢層毎の比率で表すことができる。客層は、音声データに含まれる個々人の音声に基づいて個々人の性別および年齢を推定することで評価することができる。
そして、制御部320は、評価部323による評価結果に基づいて指定店舗についての店舗情報を生成する。図3は、店舗情報のテーブル構成の一例を示す図である。図3に示すように、店舗情報は、店舗IDフィールドおよび来客状況フィールドを有する。店舗IDフィールドには、指定店舗の店舗IDが入力される。来客状況フィールドには、評価部
323によって評価されたうるささおよび客層が入力される。さらに、制御部320は、生成した指定店舗についての店舗情報を通信部310を用いてユーザ端末100に送信する処理を行う。
(ユーザ端末)
ユーザ端末100は、通信部110、制御部120、および入出力部130を有している。通信部110は、ユーザ端末100をネットワークN1に接続する機能を有する。通信部110は、ユーザ端末100が備える通信インターフェースによって実現することができる。通信部110は、例えば、3G(3rd Generation)、またはLTE(Long Term Evolution)等の移動体通信サービスを利用して、ネットワークN1経由で管理サーバ300を含む他の装置と通信を行うことができる。
制御部120は、ユーザ端末100を制御するための演算処理を行う機能を有する。制御部120は、ユーザ端末100が備えるプロセッサによって実現することができる。入出力部130は、ユーザによって行われる入力操作を受け付ける機能、および、ユーザに提示する情報を出力する機能を有する。例えば、入出力部130はタッチパネルディスプレイおよびスピーカを含んで構成される。
制御部120は、ユーザが入出力部130を介して指定店舗を指定すると、指定店舗を示す指定情報を生成する。なお、ユーザは、入出力部130に含まれるタッチパネルディスプレイに表示される地図上において指定店舗を指定してもよい。そして、制御部120は、生成した指定情報を通信部110を用いて管理サーバ300に送信する処理を行う。また、制御部120は、管理サーバ300から送信された指定店舗についての店舗情報を通信部110を用いて受信する処理を行う。
制御部120は、管理サーバ300から店舗情報を受信すると、入出力部130を用いて店舗情報を出力する。これにより、ユーザは、指定店舗の来客状況としてうるささおよび客層を把握することが可能となる。
(情報処理)
次に、管理サーバ300において、指定店舗の来客状況をユーザに提供するために実行される情報処理のフローについて図4に基づいて説明する。図4は、本実施形態に係る情報処理のフローを示すフローチャートである。本フローは、管理サーバ300の制御部320によって実行される。
本フローでは、先ずS101において、ユーザ端末100から送信された指定情報が受信される。次に、S102において、指定店舗に設置されたマイク200に対して依頼情報が送信される。このとき、S101で受信された指定情報に基づいて指定店舗が特定される。次に、S103において、指定店舗に設置されたマイク200から受信した指定店舗の音データが取得される。
次に、S104において抽出処理が実行される。これにより、S103で取得された指定店舗の音データから音声データが抽出される。次に、S105において評価処理が実行される。これにより、S104で抽出された音声データにもとづいて指定店舗のうるささおよび客層が評価される。S105において評価処理が実行されると、その評価結果に基
づいて指定店舗についての店舗情報が生成される。次に、S106において、指定店舗についての店舗情報がユーザ端末100に送信される。その結果、ユーザ端末100において、指定店舗についての店舗情報が出力される。
上記のように、情報提供システム1においては、指定店舗の来客状況の評価が、画像データではなく、音声データを用いて行われる。そのため、各店舗において、来客が含まれる画像を撮像する必要がない。したがって、店舗内に存在する来客のプライバシーの保護を図ることができる。また、店舗から管理サーバ300に画像データを送信する場合に比べて、送信するデータの容量を小さくすることができる。
また、指定店舗内における人の発話によって生じた音声データは、マイク200によって集音された音データそのものよりも、指定店舗における来客状況との相関が高い。そのため、上記のように、音声データに基づいて、指定店舗における人の発話によるうるささおよび客層を評価することができる。
また、本実施形態では、管理サーバ300が、ユーザ端末100から指定情報を受信したタイミングで、指定店舗の音データを取得し、指定店舗の来客状況の評価を行う。そのため、ユーザは、ユーザ端末100において指定店舗を指定したタイミングにおける来客状況をリアルタイムで把握することができる。
<第2実施形態>
本実施形態における情報提供システムの概略構成は第1実施形態と同様である。ただし、本実施形態においては、管理サーバ300の機能構成が第1実施形態とは一部異なっている。
図5は、本実施形態に係る管理サーバ300の機能構成の一例を概略的に示すブロック図である。図5に示すように、本実施形態では、管理サーバ300が、通信部310および制御部320に加え、店舗情報データベース(店舗情報DB)330を有している。
本実施形態では、管理サーバ300が、各店舗に設置されたマイク200から定期的に音データを受信する。また、制御部320は、定期的に受信した各店舗の音データに基づいて抽出処理および評価処理を実行する。このときに実行される抽出処理および評価処理は第1実施形態と同様である。したがって、各店舗の音データから抽出された音声データに基づいて、各店舗の人の発話によるうるささおよび客層が評価される。
さらに、制御部320は、評価処理における評価結果に基づいて各店舗についての店舗情報を生成する。そして、生成された各店舗についての店舗情報が店舗情報DB330に格納される。なお、店舗情報DB330は、管理サーバ300における補助記憶部303によって実現することができる。また、本実施形態においては、店舗情報DB330が、本開示に係る「記憶部」に相当する。
このとき、管理サーバ300においては、各店舗のマイク200から定期的に受信した音データに基づいて抽出処理および評価処理が実行されるため、各店舗における来客状況が時間帯毎に評価されることができる。そこで、店舗情報DB330は、各店舗についての時間帯毎の来客状況が店舗情報として記憶される。
そして、ユーザ端末100から指定情報を受信すると、制御部320は、指定店舗についての店舗情報を店舗情報DB330から取得する。また、制御部320は、取得した指定店舗についての店舗情報をユーザ端末100に送信する。このとき、ユーザ端末100には、指定店舗についての時間帯毎の来客状況を示す店舗情報が送信される。これにより
、ユーザは、指定店舗における時間帯毎の来客状況を把握することができる。
(変形例)
次に、本実施形態の変形例について説明する。図6は、本変形例に係る管理サーバ300の機能構成の一例を概略的に示すブロック図である。図6に示すように、本変形例では、管理サーバ300が、通信部310、制御部320、および店舗情報DB330を有している。また、制御部320は、取得部321、抽出部322、および評価部323に加え、決定部324を機能部として含んでいる。
決定部324は、各店舗の雰囲気に関する属性(以下、単に「属性」と称する場合もある。)を決定するための決定処理を実行する。ここで、店舗の属性は、例えば、店舗の利用に適した利用シーンとして規定されていてもよい。店舗の属性として規定され得る利用シーンとしては、「デート」、「ビジネス上の会食」、「友人との食事」、「大人数での宴会」、または「子供連れでの食事」等を例示することができる。決定部324は、各店舗についての来客状況の評価結果に基づいて各店舗の属性を決定する。つまり、決定部324は、各店舗の人の発話によるうるささおよび客層に基づいて各店舗の属性を決定することができる。
制御部320は、各店舗の属性を来客状況と共に店舗情報として店舗情報DB330に格納する。図7は、店舗情報DB330に格納されている店舗情報のテーブル構成の一例を示す図である。図7に示すように、店舗情報は、店舗IDフィールドおよび来客状況フィールドに加え、属性フィールドを有する。属性フィールドには、決定部324によって決定された属性が入力される。
そして、本変形例においては、ユーザは、ユーザ端末100において、特定の店舗の指定に代えて、店舗の属性を指定することができる。ユーザが入出力部130を介して店舗の属性を指定すると、指定された属性を示す指定情報がユーザ端末100から管理サーバ300に送信される。
管理サーバ300においては、ユーザ端末100から指定情報を受信すると、制御部320は、指定情報に示された属性と合致する属性を有する店舗についての店舗情報を店舗情報DB330から取得する。また、制御部320は、取得した店舗情報をユーザ端末100に送信する。これにより、ユーザは、所望の属性に応じた属性を有する店舗、および、その店舗における来客状況を把握することができる。
<第3実施形態>
本実施形態における情報提供システムの概略構成は第1実施形態と同様である。ただし、本実施形態においては、管理サーバ300の機能構成が第1実施形態とは一部異なっている。
図8は、本実施形態に係る管理サーバ300の機能構成の一例を概略的に示すブロック図である。図8に示すように、本実施形態では、管理サーバ300が、通信部310および制御部320を有している。そして、制御部320が、取得部321、抽出部322、および評価部323に加え、非言語化部325および合成部326を機能部として含んでいる。
管理サーバ300においては、抽出部322が抽出処理を実行する。これにより、取得部321が取得した指定店舗の音データから音声データが抽出される。このときの抽出処理は、音データを音声データと背景音データとに分離する処理である。また、評価部323は、抽出部322が抽出した指定店舗の音声データに基づいて評価処理を実行する。
その一方で、非言語化部325が、指定店舗の音声データに対して非言語化処理を施す。上記のとおり、音声データは、指定店舗内に存在する人の発話によって生じた音声についてのデータである。そのため、音声データは、指定店舗内に存在する人が発した言語データとなっている。非言語化処理は、この音声データを、音の特性を維持しつつ非言語化する処理である。つまり、非言語化処理は、元々の音声データが有する音の大きさ、音程、および音色を維持しつつ、音声データを、言語データとは異なる音のデータに変換する処理である。このような非言語化処理が施された音声データが出力された場合、元々の音声データに含まれていた人の発話の内容を聞き取ることができない状態で、元々の音声データが有する音の特性と同様の特性を有する音データが出力される。非言語化処理は、公知のどのような方法で実現されてもよい。なお、本実施形態においては、非言語化処理が、本開示に係る「措定の処理」に相当する。
さらに、合成部326が、指定店舗の音データに含まれていた背景音データと、非言語化処理が施された音声データとを合成するための合成処理を実行する。合成処理においては、背景音データと非言語化処理が施された音声データとを合成する方法として公知のどのような方法を採用してもよい。そして、合成部326が合成処理によって生成した合成データが指定店舗の店舗情報と共に管理サーバ300からユーザ端末100に送信される。
ユーザ端末100においては、管理サーバ300から店舗情報と共に合成データを受信すると、制御部120が、入出力部130を用いて店舗情報および合成データを出力する。図9は、ユーザ端末100において指定店舗についての合成データが出力されたときの様子の一例を示す図である。図9においては、ユーザ端末100における入出力部130に含まれるタッチパネルディスプレイ100aに、ユーザが指定店舗を指定した地図が表示されている。この場合、タッチパネルディスプレイ100aに指定店舗を含む地図が表示された状態で、入出力部130に含まれるスピーカ100bから指定店舗についての合成データが出力される。なお、このときに、タッチパネルディスプレイ100aにおいて、指定店舗についての店舗情報が地図に重畳された状態で表示されてもよい。
ユーザ端末100において、店舗情報に加え、指定店舗についての合成データが出力されることで、ユーザは、指定店舗の状況を音として把握することができる。これにより、ユーザは、指定店舗の来客状況を自分自身の感覚で判断することが可能となる。一方で、ユーザは、合成データから、元々の音声データに含まれていた人の発話の内容を聞き取ることはできない。そのため、指定店舗内に存在する来客のプライバシーの保護を図ることができる。
(情報処理)
次に、管理サーバ300において、指定店舗の来客状況および合成データをユーザに提供するために実行される情報処理のフローについて図10に基づいて説明する。図10は、本実施形態に係る情報処理のフローを示すフローチャートである。本フローは、管理サーバ300の制御部320によって実行される。なお、本フローにおけるS101からS105において実行される処理は、図4に示すフローにおける同一参照番号のステップにおいて実行される処理と同様である。そのため、これらのステップについての説明は省略する。
本フローでは、S105の次にS206の処理が実行される。S206では、S104で抽出された音声データに対して非言語化処理が施される。次に、S207において合成処理が実行される。これにより、S206で非言語化処理が施された音声データと、指定店舗の背景音データとが合成された合成データが生成される。なお、制御部320におい
て、S105における評価処理と、S206およびS207の処理とが並行で実行されてもよい。次に、S208において、指定店舗についての店舗情報および合成データがユーザ端末100に送信される。その結果、ユーザ端末100において指定店舗についての店舗情報および合成データが出力される。
なお、上記第1から第3実施形態においては、飲食店である店舗が本開示に係る「所定の施設」に相当する。ただし、本開示に係る「所定の施設」は飲食店に限られるものではない。例えば、上記第1から第3実施形態に係る情報提供システムを、シェアオフィスにおける来客状況をユーザに提供するためのシステムに適用することもできる。このような情報提供システムによれば、ユーザは、他のユーザによるオフィスの利用状況を把握することが可能となる。また、上記第1から第3実施形態に係る情報提供システムを、飲食店またはシェアオフィス以外の、ユーザが利用することを検討中の施設における来客状況を評価しユーザに提供するためのシステムに適用することもできる。
<その他の実施形態>
上記の実施形態はあくまでも一例であって、本開示はその要旨を逸脱しない範囲内で適宜変更して実施し得る。また、本開示において説明した処理や手段は、技術的な矛盾が生じない限りにおいて、自由に組み合わせて実施することができる。
また、1つの装置が行うものとして説明した処理が、複数の装置によって分担して実行されてもよい。あるいは、異なる装置が行うものとして説明した処理が、1つの装置によって実行されても構わない。コンピュータシステムにおいて、各機能をどのようなハードウェア構成(サーバ構成)によって実現するかは柔軟に変更可能である。
本開示は、上記の実施形態で説明した機能を実装したコンピュータプログラムをコンピュータに供給し、当該コンピュータが有する1つ以上のプロセッサがプログラムを読み出して実行することによっても実現可能である。このようなコンピュータプログラムは、コンピュータのシステムバスに接続可能な非一時的なコンピュータ可読記憶媒体によってコンピュータに提供されてもよいし、ネットワークを介してコンピュータに提供されてもよい。非一時的なコンピュータ可読記憶媒体は、例えば、磁気ディスク(フロッピー(登録商標)ディスク、ハードディスクドライブ(HDD)等)、光ディスク(CD-ROM、DVDディスク、ブルーレイディスク等)など任意のタイプのディスク、読み込み専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、EPROM、EEPROM、磁気カード、フラッシュメモリ、または光学式カードのような、電子的命令を格納するために適した任意のタイプの媒体を含む。
1・・・情報提供システム
100・・ユーザ端末
110、310・・通信部
120、320・・制御部
130・・入出力部
200・・マイク
300・・管理サーバ

Claims (14)

  1. 所定の施設内において集音された音データを取得することと、
    前記所定の施設内における人の発話によって生じた音声データを前記音データから抽出することと、
    前記音声データに基づいて前記所定の施設における来客状況を評価することと、
    を実行する制御部を備え、
    前記所定の施設が、ユーザによって指定された施設であって、
    前記制御部が、
    前記来客状況を前記ユーザに関連するユーザ端末に送信することをさらに実行し、
    前記制御部は、
    前記音声データに対して、音の特性を維持しつつ非言語化する所定の処理を施すことと、
    前記音データから前記音声データを除いたデータと、前記所定の処理が施された前記音声データとを合成することと、
    前記合成されたデータを前記ユーザ端末に送信することと、
    をさらに実行する、情報処理装置。
  2. 前記来客状況が、前記所定の施設内における人の発話に起因するうるささを含む、
    請求項1に記載の情報処理装置。
  3. 前記来客状況が、前記所定の施設における客層を含む、
    請求項1または2に記載の情報処理装置。
  4. 前記制御部が、
    前記来客状況の評価結果に基づいて前記所定の施設の雰囲気に関する属性を決定することをさらに実行する、
    請求項1から3のいずれか一項に記載の情報処理装置。
  5. 前記音声データに基づいて評価された前記所定の施設についての時間帯毎の前記来客状況を記憶する記憶部をさらに備え、
    前記制御部が、前記記憶部に記憶された前記所定の施設についての時間帯毎の前記来客状況を前記ユーザ端末に送信する、
    請求項に記載の情報処理装置。
  6. 前記所定の施設が、前記ユーザ端末に表示される地図上おいて前記ユーザによって指定された施設であって、
    前記ユーザ端末において、前記情報処理装置から受信した前記所定の施設についての前記合成されたデータが、前記地図が表示された状態で出力される、
    請求項に記載の情報処理装置。
  7. 前記所定の施設は飲食店である、
    請求項1からのいずれか一項に記載の情報処理装置。
  8. 前記所定の施設はシェアオフィスである、
    請求項1からのいずれか一項に記載の情報処理装置。
  9. コンピュータによって実行される情報処理方法であって、
    所定の施設内において集音された音データを取得することと、
    前記所定の施設内における人の発話によって生じた音声データを前記音データから抽出することと、
    前記音声データに基づいて前記所定の施設における来客状況を評価することと、
    を含
    前記所定の施設が、ユーザによって指定された施設であって、
    前記来客状況を前記ユーザに関連するユーザ端末に送信することをさらに含み、
    前記音声データに対して、音の特性を維持しつつ非言語化する所定の処理を施すことと、
    前記音データから前記音声データを除いたデータと、前記所定の処理が施された前記音声データとを合成することと、
    前記合成されたデータを前記ユーザ端末に送信することと、
    をさらに含む、情報処理方法。
  10. 前記来客状況が、前記所定の施設内における人の発話に起因するうるささを含む、
    請求項に記載の情報処理方法。
  11. 前記来客状況が、前記所定の施設における客層を含む、
    請求項または10に記載の情報処理方法。
  12. 前記来客状況の評価結果に基づいて前記所定の施設の雰囲気に関する属性を決定することをさらに含む、
    請求項から11のいずれか一項に記載の情報処理方法。
  13. 前記音声データに基づいて評価された前記所定の施設についての時間帯毎の前記来客状況を記憶部に記憶することをさらに含み、
    前記記憶部に記憶された前記所定の施設についての時間帯毎の前記来客状況を前記ユーザ端末に送信する、
    請求項に記載の情報処理方法。
  14. 所定の施設内において集音された音データを取得することと、
    前記所定の施設内における人の発話によって生じた音声データを前記音データから抽出することと、
    前記音声データに基づいて前記所定の施設における来客状況を評価することと、
    をコンピュータに実行させ、
    前記所定の施設が、ユーザによって指定された施設であって、
    前記来客状況を前記ユーザに関連するユーザ端末に送信することをさらに前記コンピュータに実行させ、
    前記音声データに対して、音の特性を維持しつつ非言語化する所定の処理を施すことと、
    前記音データから前記音声データを除いたデータと、前記所定の処理が施された前記音声データとを合成することと、
    前記合成されたデータを前記ユーザ端末に送信することと、
    をさらに前記コンピュータに実行させる、プログラム。
JP2021009844A 2021-01-25 2021-01-25 情報処理装置、情報処理方法、およびプログラム Active JP7389070B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021009844A JP7389070B2 (ja) 2021-01-25 2021-01-25 情報処理装置、情報処理方法、およびプログラム
US17/573,704 US20220237624A1 (en) 2021-01-25 2022-01-12 Information processing device, information processing method, and non-transient computer- readable storage medium storing program
CN202210040130.2A CN114792245A (zh) 2021-01-25 2022-01-14 信息处理装置、信息处理方法及存储有程序的非临时性的由计算机可读取的存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021009844A JP7389070B2 (ja) 2021-01-25 2021-01-25 情報処理装置、情報処理方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2022113535A JP2022113535A (ja) 2022-08-04
JP7389070B2 true JP7389070B2 (ja) 2023-11-29

Family

ID=82460725

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021009844A Active JP7389070B2 (ja) 2021-01-25 2021-01-25 情報処理装置、情報処理方法、およびプログラム

Country Status (3)

Country Link
US (1) US20220237624A1 (ja)
JP (1) JP7389070B2 (ja)
CN (1) CN114792245A (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060065723A1 (en) 2004-09-08 2006-03-30 Speechgear, Inc. Consumer information kiosk
JP2013109664A (ja) 2011-11-22 2013-06-06 Oki Electric Ind Co Ltd 混雑予測装置、混雑予測方法、及び混雑予測プログラム
JP2014021742A (ja) 2012-07-19 2014-02-03 Hito-Communications Inc 販売支援システム、販売支援方法及び販売支援プログラム
JP2019145022A (ja) 2018-02-23 2019-08-29 パナソニックIpマネジメント株式会社 店舗情報提供システム、サーバ、店舗情報提供方法、及びプログラム
JP2019174264A (ja) 2018-03-28 2019-10-10 大日本印刷株式会社 経路探索装置、プログラム及び経路探索サーバ

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8144196B2 (en) * 2007-05-09 2012-03-27 Panasonic Corporation Display, display method, and display program
AU2011343977A1 (en) * 2010-12-14 2013-07-25 Scenetap, Llc Apparatus and method to monitor customer demographics in a venue or similar facility
US20130110513A1 (en) * 2011-10-26 2013-05-02 Roshan Jhunja Platform for Sharing Voice Content
WO2015097818A1 (ja) * 2013-12-26 2015-07-02 株式会社 東芝 テレビシステムとサーバ装置及びテレビ装置
US10462591B2 (en) * 2015-05-13 2019-10-29 Soundprint Llc Methods, systems, and media for providing sound level information for a particular location
JP6903969B2 (ja) * 2017-03-17 2021-07-14 日本電気株式会社 情報提供装置、情報提供方法及びプログラム
CN109313892B (zh) * 2017-05-17 2023-02-21 北京嘀嘀无限科技发展有限公司 稳健的语言识别方法和系统
KR101958664B1 (ko) * 2017-12-11 2019-03-18 (주)휴맥스 멀티미디어 콘텐츠 재생 시스템에서 다양한 오디오 환경을 제공하기 위한 장치 및 방법
US20190258451A1 (en) * 2018-02-20 2019-08-22 Dsp Group Ltd. Method and system for voice analysis
US11735029B2 (en) * 2020-01-08 2023-08-22 Otta Inc. Emergency communication system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060065723A1 (en) 2004-09-08 2006-03-30 Speechgear, Inc. Consumer information kiosk
JP2013109664A (ja) 2011-11-22 2013-06-06 Oki Electric Ind Co Ltd 混雑予測装置、混雑予測方法、及び混雑予測プログラム
JP2014021742A (ja) 2012-07-19 2014-02-03 Hito-Communications Inc 販売支援システム、販売支援方法及び販売支援プログラム
JP2019145022A (ja) 2018-02-23 2019-08-29 パナソニックIpマネジメント株式会社 店舗情報提供システム、サーバ、店舗情報提供方法、及びプログラム
JP2019174264A (ja) 2018-03-28 2019-10-10 大日本印刷株式会社 経路探索装置、プログラム及び経路探索サーバ

Also Published As

Publication number Publication date
CN114792245A (zh) 2022-07-26
JP2022113535A (ja) 2022-08-04
US20220237624A1 (en) 2022-07-28

Similar Documents

Publication Publication Date Title
US20160234606A1 (en) Method for augmenting hearing
US10559323B2 (en) Audio and video synchronizing perceptual model
US10347250B2 (en) Utterance presentation device, utterance presentation method, and computer program product
JP2015517709A (ja) コンテキストに基づくメディアを適応配信するシステム
JP2014170185A (ja) 発話コマンド認識システム
US20140046666A1 (en) Information processing apparatus, computer program product, and information processing method
JP2005080110A (ja) 音声会議システム、音声会議端末装置およびプログラム
JP2021067830A (ja) 議事録作成システム
CN112513986A (zh) 使用同步记录的音频噪声降低
JP2009301125A (ja) 会議音声録音システム
JP5267995B2 (ja) 会話グループ把握装置、会話グループ把握方法、及びプログラム
JPWO2014141413A1 (ja) 情報処理装置、出力方法およびプログラム
JP2010078926A (ja) デュエット相手抽出システム
JP7389070B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP4735640B2 (ja) 音声会議システム
JP5689774B2 (ja) 対話型情報発信装置、対話型情報発信方法、及びプログラム
JP2012212997A (ja) 表示装置及びプログラム
JP5427622B2 (ja) 音声変更装置、音声変更方法、プログラム及び記録媒体
JP2018054926A (ja) 音声対話装置および音声対話方法
JP6082047B2 (ja) 文書記録作成支援装置および文書記録作成支援プログラム
JP2019219859A (ja) 情報処理装置、情報処理方法、情報処理システム
JP7243145B2 (ja) 情報処理装置、情報処理システム及び情報処理方法
TWI767499B (zh) 整合線上客服系統的跨通路人工智慧對話式平台及其運作方法
JP2019211689A (ja) 認識装置、認識システム、端末装置、サーバ装置、方法及びプログラム
JP7110057B2 (ja) 音声認識システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221005

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230829

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230830

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231017

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231024

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231116

R151 Written notification of patent or utility model registration

Ref document number: 7389070

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151