JP7186009B2 - 画像処理システム及びプログラム - Google Patents
画像処理システム及びプログラム Download PDFInfo
- Publication number
- JP7186009B2 JP7186009B2 JP2018071814A JP2018071814A JP7186009B2 JP 7186009 B2 JP7186009 B2 JP 7186009B2 JP 2018071814 A JP2018071814 A JP 2018071814A JP 2018071814 A JP2018071814 A JP 2018071814A JP 7186009 B2 JP7186009 B2 JP 7186009B2
- Authority
- JP
- Japan
- Prior art keywords
- behavior
- data
- goods
- action
- moving image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 42
- 230000009471 action Effects 0.000 claims description 148
- 238000000605 extraction Methods 0.000 claims description 58
- 238000004891 communication Methods 0.000 claims description 46
- 238000003860 storage Methods 0.000 claims description 31
- 238000004458 analytical method Methods 0.000 claims description 23
- 239000000284 extract Substances 0.000 claims description 18
- 230000007547 defect Effects 0.000 claims description 14
- 230000007257 malfunction Effects 0.000 claims description 3
- 230000006399 behavior Effects 0.000 description 151
- 230000006870 function Effects 0.000 description 55
- 238000012795 verification Methods 0.000 description 30
- 238000000034 method Methods 0.000 description 17
- 238000013473 artificial intelligence Methods 0.000 description 15
- 239000000047 product Substances 0.000 description 14
- 238000010586 diagram Methods 0.000 description 12
- 238000007796 conventional method Methods 0.000 description 8
- 230000007613 environmental effect Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 208000027418 Wounds and injury Diseases 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000004140 cleaning Methods 0.000 description 3
- 238000010411 cooking Methods 0.000 description 3
- 230000006378 damage Effects 0.000 description 3
- 238000007405 data analysis Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000010191 image analysis Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 208000014674 injury Diseases 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000009835 boiling Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000002787 reinforcement Effects 0.000 description 2
- 239000000344 soap Substances 0.000 description 2
- FGRBYDKOBBBPOI-UHFFFAOYSA-N 10,10-dioxo-2-[4-(N-phenylanilino)phenyl]thioxanthen-9-one Chemical compound O=C1c2ccccc2S(=O)(=O)c2ccc(cc12)-c1ccc(cc1)N(c1ccccc1)c1ccccc1 FGRBYDKOBBBPOI-UHFFFAOYSA-N 0.000 description 1
- TVEXGJYMHHTVKP-UHFFFAOYSA-N 6-oxabicyclo[3.2.1]oct-3-en-7-one Chemical compound C1C2C(=O)OC1C=CC2 TVEXGJYMHHTVKP-UHFFFAOYSA-N 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 238000003287 bathing Methods 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 230000001364 causal effect Effects 0.000 description 1
- 239000002537 cosmetic Substances 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000007791 dehumidification Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000035622 drinking Effects 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 239000005357 flat glass Substances 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 239000008266 hair spray Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 210000002414 leg Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011017 operating method Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000007634 remodeling Methods 0.000 description 1
- 238000009418 renovation Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 239000002453 shampoo Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
一方で、既存のサービスによる映像資源の活用は十分でない。
請求項2に記載の発明は、動画像データの解析処理により生成された、人の行動と当該行動に関連する物品とを紐付けた行動データを蓄積する記憶手段と、前記記憶手段に蓄積された前記行動データのうち、予め定めた抽出条件に該当する、通信機能を有しない特定の物品に関連する又は特定の人に関連する行動データを抽出する抽出手段と、前記物品の使われ方に紐づけて、当該使われ方に適した物品及びサービスの少なくとも一方を記憶するデータベースと、前記行動データの前記人の行動に紐付けられて記録されている物品の使われ方、又は、当該行動データに紐付けられている前記動画像データから推定された物品の使われ方に応じた他の物品又はサービスを前記データベースから検出して提案する提供手段と、を有する画像処理システムである。
請求項3に記載の発明は、動画像データの解析処理により生成された、人の行動と当該行動に関連する物品とを紐付けた行動データを蓄積する記憶手段と、前記記憶手段に蓄積された前記行動データのうち、予め定めた抽出条件に該当する、通信機能を有しない特定の物品に関連する又は特定の人に関連する行動データを抽出する抽出手段と、生活のパターンに紐付けて、当該生活のパターンに適した物品及びサービスの少なくとも一方を記憶するデータベースと、前記行動データの前記人の行動に紐付けられて記録されている物品の使われ方、又は、当該行動データに紐付けられている前記動画像データから推定された、特定の個人又は特定の世帯に対応する生活のパターンに応じた物品又はサービスを前記データベースから検出して提案する提供手段と、を有する画像処理システムである。
請求項4に記載の発明は、動画像データの解析処理により生成された、人の行動と当該行動に関連する物品とを紐付けた行動データを蓄積する記憶手段と、前記記憶手段に蓄積された前記行動データのうち、予め定めた抽出条件に該当する、通信機能を有しない特定の物品に関連する又は特定の人に関連する行動データを抽出する抽出手段と、前記物品について想定される不具合に紐付けて、当該不具合に適した物品及びサービスの少なくとも一方を記憶するデータベースと、前記行動データの前記人の行動に紐付けられて記録されている物品の使われ方、又は、当該行動データに紐付けられている前記動画像データから推定された前記物品に生じている不具合又は不具合が発生する時期に基づいて、特定の個人又は世帯に対して物品又はサービスを前記データベースから検出して提案する提案手段と、を有する画像処理システムである。
請求項5に記載の発明は、動画像データの解析処理により生成された、人の行動と当該行動に関連する物品とを紐付けた行動データが記憶手段に蓄積されている場合、コンピュータに、当該記憶手段に蓄積された当該行動データのうち、予め定めた抽出条件に該当する、通信機能を有しない特定の物品に関連する又は特定の人に関連する行動データを抽出させる機能と、前記人の行動に対応する前記動画像データが、前記行動データに紐付けられている場合、コンピュータに、故障した特定の物品に対して紐付けられている当該行動データに対応する当該動画像データに共通する行動又は頻度の高い行動を抽出し、故障の原因となる情報として出力させる機能と、を実現させるためのプログラムである。
請求項6に記載の発明は、動画像データの解析処理により生成された、人の行動と当該行動に関連する物品とを紐付けた行動データが記憶手段に蓄積されている場合、コンピュータに、当該記憶手段に蓄積された当該行動データのうち、予め定めた抽出条件に該当する、通信機能を有しない特定の物品に関連する又は特定の人に関連する行動データを抽出させる機能と、コンピュータに、前記物品の使われ方に紐づけて、当該使われ方に適した物品及びサービスの少なくとも一方を記憶するデータベースから、当該行動データの前記人の行動に紐付けられて記録されている物品の使われ方、又は、当該行動データに紐付けられている前記動画像データから推定された物品の使われ方に応じた他の物品又はサービスを検出して提案させる機能と、を実現させるためのプログラムである。
請求項7に記載の発明は、動画像データの解析処理により生成された、人の行動と当該行動に関連する物品とを紐付けた行動データが記憶手段に蓄積されている場合、コンピュータに、当該記憶手段に蓄積された当該行動データのうち、予め定めた抽出条件に該当する、通信機能を有しない特定の物品に関連する又は特定の人に関連する行動データを抽出させる機能と、コンピュータに、生活のパターンに紐付けて、当該生活のパターンに適した物品及びサービスの少なくとも一方を記憶するデータベースから、当該行動データの前記人の行動に紐付けられて記録されている物品の使われ方、又は、当該行動データに紐付けられている前記動画像データから推定された、特定の個人又は特定の世帯に対応する生活のパターンに応じた物品又はサービスを検出して提案させる機能と、を実現させるためのプログラムである。
請求項8に記載の発明は、動画像データの解析処理により生成された、人の行動と当該行動に関連する物品とを紐付けた行動データが記憶手段に蓄積されている場合、コンピュータに、当該記憶手段に蓄積された当該行動データのうち、予め定めた抽出条件に該当する、通信機能を有しない特定の物品に関連する又は特定の人に関連する行動データを抽出させる機能と、コンピュータに、前記物品について想定される不具合に紐付けて、当該不具合に適した物品及びサービスの少なくとも一方を記憶するデータベースから、前記行動データの前記人の行動に紐付けられて記録されている物品の使われ方、又は、当該行動データに紐付けられている前記動画像データから推定された前記物品に生じている不具合又は不具合が発生する時期に基づいて、特定の個人又は世帯に対して物品又はサービスを検出して提案させる機能と、を実現させるためのプログラムである。
請求項2記載の発明によれば、物品の使い方に応じた他の物品やサービスを提案できる。
請求項3記載の発明によれば、生活のパターンに応じた他の物品やサービスを提案できる。
請求項4記載の発明によれば、現在の不具合又は将来の不具合に応じた他の物品やサービスを提案できる。
請求項5記載の発明によれば、故障の原因を検証できる。
請求項6記載の発明によれば、物品の使い方に応じた他の物品やサービスを提案できる。
請求項7記載の発明によれば、生活のパターンに応じた他の物品やサービスを提案できる。
請求項8記載の発明によれば、現在の不具合又は将来の不具合に応じた他の物品やサービスを提案できる。
図1は、実施の形態で提案するマーケティング支援システム100の構成例を示す図である。
本実施の形態におけるマーケティング支援システム100は、日常生活を記録した映像資源のマーケティングへの活用を支援するシステムである。
図1に示すマーケティング支援システム100は、ネットワーク200と、住宅300と、マンション400内の専有部分410と、公園、道路などの公共の場所に設置された監視カメラ500と、日常生活を撮像した動画像データを蓄積するデータセンタ600と、動画像データ610を解析して行動データ620を生成する行動データ生成サーバ700と、行動データ620を処理する行動検証サーバ800と、を有している。
ネットワーク200を介した通信は、有線方式でも無線方式でもよく、これらを併用した方式でも良い。
このため、本実施の形態では、撮像された動画像データ610がそのまま(すなわち生データのまま)、データセンタ600に送信される。
もっとも、スクランブル処理やマスク処理を加えた後の動画像データ610をデータセンタ600に送信してもよい。すなわち、送信されるデータの秘匿性を高めてもよい。
また、公共の場所には、監視カメラ500が設けられており、不特定多数の人の日常的な行動や活動を撮像している。
個々のカメラは、撮像によって生成されるデータを動画像データ610として出力する。本実施の形態の場合、動画像データ610は、画像の解析に必要な解像度とフレームレートを有している。
動画像データ610のデータセンタ600への送信は、カメラによる撮像とほぼ同時に実行してもよいし(いわゆるライブ配信でもよいし)、ハードディスク装置その他のストレージ装置に一旦蓄積した後に実行してもよい。
なお、不図示のマイクによって収録された音データもデータセンタ600に送信してもよい。
本実施の形態の場合、データセンタ600に蓄積されている動画像データ610及び行動データ620は、行動データ生成サーバ700及び行動検証サーバ800で実行される人工知能に対してのみ提供される。
データセンタ600は、大容量のストレージ装置で構成される。データセンタ600は1つの拠点に限らず、複数の拠点に分散的に配置されてもよい。
行動データ生成サーバ700は、いわゆるコンピュータであり、プログラムの実行を通じて各部を制御するCPU(Central Processing Unit)と、BIOS(Basic Input Output System)や基本ソフトウェア等のプログラムを記憶するROM(Read Only Memory)と、プログラムの実行領域として用いられるRAM(Random Access Memory)と、各種のデータを記憶するハードディスク装置と、ネットワーク200との通信に用いられる通信装置とを有している。
人工知能による動画像データ610の解析や行動データ620の生成は、コンピュータによるプログラムの実行を通じて実現される。具体的な処理の内容については後述する。
ここでの行動データ生成サーバ700は、画像処理システムの一例である。なお、広義の画像処理システムは、データセンタ600と行動データ生成サーバ700を含む。
行動検証サーバ800は、いわゆるコンピュータであり、プログラムの実行を通じて各部を制御するCPUと、BIOSや基本ソフトウェア等のプログラムを記憶するROMと、プログラムの実行領域として用いられるRAMと、各種のデータを記憶するハードディスク装置と、ネットワーク200との通信に用いられる通信装置とを有している。
人工知能による動画像データ610や行動データ620の処理は、コンピュータによるプログラムの実行を通じて実現される。具体的な処理の内容については後述する。
ここでの行動検証サーバ800は、情報処理システムの一例である。なお、広義の情報処理システムは、データセンタ600と行動検証サーバ800を含む。
ここでは、住宅300について、本実施の形態で想定するカメラの配置等を説明する。
図2は、住宅300の間取り310(310A~310I)と、住宅300で生活している人320(320A~320D)の行動と、住宅300に設けられているカメラ330(330A、330B)の配置の例を示す図である。
図2に示す間取り310は、住宅300の1階部分を表している。図2の場合、1階部分には、リビング310A、台所310B、浴室310C、洗面室310D、個室310E、トイレ310F、廊下310G、階段310H、玄関310Iが配置されている。
カメラ330Aが備え付けられていない空間が存在してもよいが、人320の日常生活を網羅的に記録する観点からは死角の少ない配置が望ましい。
図2の場合、カメラ330Bは、リビング310Aに配置された犬型のロボットに内蔵されている。
カメラ330Aが撮像する範囲は固定であるのに対し、カメラ330Bが撮像する範囲は、ロボットの移動に伴って変化する。なお、カメラ330Bは、玩具やぬいぐるみに内蔵されていてもよい。
この他、人320の日常生活を撮像するカメラ330Bは、個室310Eの机の上に配置されたコンピュータやスマートフォンに設けられていてもよい。
例えばリビング310Aには、テレビ台、テレビ、リビングテーブル、ソファ、ダイニングテーブル、ドア、掃除機、照明器具(不図示)、エアコン(不図示)等が配置されている。なお、Bさん(人320B)は、掃除機を用いてリビング310Aを掃除している。
例えば台所310Bには、流し台、ガスコンロ、レンジフード(換気扇)、蛍光灯、食器棚等が配置されている。なお、Aさん(人320A)は、ガスコンロで炒めものをしている。
この他、浴室310CではCさん(人320C)が入浴中であり、個室310EではDさん(人320D)がコンピュータを使用している。
本実施の形態の場合、住宅300には、動画像データ610を出力する複数台のカメラ330と、センサデータを送信する複数台のIoT(Internet of Things)デバイス340とが通信装置350に接続されている。
もっとも、IoT(Internet of Things)デバイス340の通信装置350への接続は任意である。
IoTデバイス340は、通信装置350を通じてセンサデータをデータセンタ600に送信する機能を有するデバイスをいう。
M2M通信にのみ対応する機器は、インターネットへの送信機能を有しない点でIoTデバイス340と異なる。
本実施の形態では、M2M通信にのみ対応する機器とIoTデバイス340を総称して通信機能を有する物品ということがあり、通信機能を有しない物品と区別する目的で使用する。
IoTデバイス340としての電気製品には、例えばテレビ、エアコン、パソコン、温度センサ、湿度センサ、ウェアラブル機器がある。
IoTデバイス340としての住宅設備には、例えば窓の開閉を検知するセンサ、ドアの開閉を検知するセンサ、壁の振動を検知するセンサ、通信機能を有する電力メータ(スマートメータ)、住宅300での電気やガスに関する情報を集中的に処理する装置(ホームコントローラ)がある。
また、ウェアラブル機器によって取得された脈拍や血圧などは、生体データとしてデータセンタ600に送信される。
通信機能を有しない物品には、例えば包丁、鍋などの調理器具、コップ、皿などの食器、化粧品、ヘアスプレー、ドライヤー、ブラシ、ドア、窓ガラス、手すり、筆記具、ハサミ、椅子、ソファ、シャワー、バスタブ、石鹸がある。
これら通信機能を有しない物品の使用の様子は、動画像データ610の一部として行動データ生成サーバ700に送信される。
図4は、本実施の形態で使用する行動データ生成サーバ700の機能構成の一例を示す図である。
図4に示す機能は、CPUによるプログラムの実行を通じて実現される。各機能の一部又は全部には人工知能の処理が含まれる。
なお、図4は、プログラムの実行を通じて実現される機能のうち、行動データの生成で必要になる一部の機能を表している。
このため、操作データ取得部710は、動画像データ610の解析によっては抽出できない操作の情報の取得に用いられる。
例えば人320が操作するボタン類が小さい場合、動画像データ610の解析では、操作されたボタンを特定することは難しいが、操作データを用いれば操作されたボタンや機能の特定が可能である。
また例えば物品に対する操作がカメラ330の死角で行われた場合、動画像データ610を解析しても操作の内容を特定できないが、操作データを用いれば操作されたボタンや機能の特定が可能である。
なお、操作の対象である物品については、人の移動の前後の画像から特定できる場合もある。
例えば特定の人が行ったエアコンの設定温度を上げる操作と、その時点における室温(気温)や湿度との関係の検証に利用できる。
人推定部730は、動画像データ610を解析して、動画像データ610に出現する個人、性別、年齢等を推定する。人推定部730は、例えば顔認識技術を推定に使用する。顔認識技術により、同一人の抽出、個人の特定等が可能になる。顔認識技術も人工知能による処理の一例である。
なお、人の推定では、動画像データ610に限らず、様々な情報が複合的に用いられる。例えば音声のデータを利用してもよい。
本実施の形態の場合、人の行動には、例えば調理、飲食、テレビの視聴、入浴、掃除、扉や窓の開閉、照明の点灯又は消灯、睡眠がある。
抽出される行動の内容や数は、人工知能に予め与えられる場合もあれば、学習により追加される場合もある。
例えば使用した体の部位として「肘」、「足」、「膝」等を記録してもよい。これらの情報の抽出により、行動データ620の多様な検証が実現される。例えば物品の故障の原因になる行動、壊れやすい部位、壊れる時期などの予測の基礎資料として用いることができる。
このような場合、行動及び物品抽出部740は、行動として操作や使用を記録する。
なお、動画像データ610の解析によっては行動の内容を特定できなくても、行動の対象である物品がIoTデバイス340の場合には、行動を抽出した時間との紐付けにより、操作の内容を特定できる場合がある。
カメラ330の死角には、カメラ330の撮像範囲の外側だけなく、撮像範囲内の物品が人320や他の物品に隠れる場合も含まれる。ここでの人320には、物品を操作している人だけでなく他の人も含まれる。
このような場合、行動及び物品抽出部740は、例えば時間的に前後する複数の画像から人、物品、行動を推定する。
なお、図5に示すコーヒーメーカ360には、通信機能が備えられていない。すなわち、図5に示すコーヒーメーカ360は、IoTデバイス340ではない。
そこで、行動及び物品抽出部740は、人320の行動として、コーヒーメーカ360の「使用」を記録する。
図4の説明に戻る。
本実施の形態における行動及び物品抽出部740は、電波の反射状況の変化から屋内の環境の変化を検知する機能も備えている。例えば行動及び物品抽出部740は、電波の反射状況の変化に基づいて、カメラ330の死角内での人320の移動を検知する。行動及び物品抽出部740は、検知された情報で動画像データ610から取得される情報を補完する。
もっとも、生成された行動データ620は、行動データ生成サーバ700内のハードディスク装置やデータセンタ600とは別のネットワークストレージに蓄積してもよい。
本実施の形態の場合、行動データ620には、行動と物品以外にも関連する情報が含まれる。
図6の場合、行動データ620には、ユーザ情報621、ユーザの行動情報622、行動が行われた場所623、行動に関連する物品情報624、IoTデバイス340(図3参照)から取得された操作データ625、情報の抽出に用いた動画像リンク情報626、行動が行われた場所の環境データ627が含まれている。
また、来客者の行動が抽出された場合には、ユーザ情報621として、推定された性別と年代が記録される。
行動情報622には、人工知能による画像解析によって推定された行動が記録される。例えば調理、扉閉じ、掃除、点灯等が記録される。図6の場合、具体的な行動を推定できなかったエアコン用リモンに対する行動情報622には操作が記録され、コーヒーメーカ360(図5参照)に対する行動情報622には使用が記録されている。
物品情報624には、人工知能によって推定された物品の種別などの情報が記録される。図6の場合、ガスコンロ、包丁、エアコン用リモコン、冷蔵庫、掃除機、照明、コーヒーメーカ360、コップ等が記録される。
操作データ625には、IoTデバイス340(図3参照)から取得された情報が記録される。図6の場合、IoTデバイス340は、エアコンだけである。このため、エアコン用リモコンに紐づけて操作の内容が設定温度の変更であり、変更後の温度が25℃であることが記録されている。
図6の場合には、カメラ330を特定する番号によって動画像データ610を特定しているが、動画像データ610を一意に特定する情報(例えば符号)を記録してもよい。
また、図6の場合には、1台のカメラ330の情報が記録されているが、複数台のカメラ330の情報が記録されてもよい。動画像リンク情報626が記録されることにより、行動の詳細な検証や原因を検証する作業が効率的に行える。
環境データ627には、記録された行動が行われた環境を特定する情報として、例えば気温(室温)、湿度、天候等の情報が記録される。なお、天候の情報は、外部機関が提供する気象情報を利用してもよい。
基本的に、公共の場所で撮像された動画像データ610から個人を特定することは難しい。このため、図7の場合には、ユーザ情報621として推定された性別と年代とで人320が特定されている。
なお、IoTデバイス340から収集される操作データでは、操作された機能や操作の時点等の情報を取得することはできても操作した個人を特定できない。
一方、本実施の形態における行動データ620を用いれば、ユーザ情報621によって、個人を特定した情報の抽出が可能になる。
結果的に、任意の物品(特に通信機能を有しない物品)を対象とした人の行動の検証が可能になり、新たなサービスの開発にも活用できる。
例えば特定の個人、性別、年代に応じた特定の物品の使用の頻度、使用のタイミング、使い方、使用の場所等が可視化される。
また、行動データ620に動画像データ610が紐付けられていることで行動や故障の原因の検証も容易になる。
図8は、本実施の形態で使用する行動検証サーバ800の機能構成の一例を示す図である。
図8に示す機能は、CPUによるプログラムの実行を通じて実現される。各機能の一部又は全部には人工知能の処理が含まれる。
なお、図8は、プログラムの実行を通じて実現される機能のうち、行動データ620(図1参照)の検証で必要になる一部の機能を表している。
本実施の形態の場合、抽出処理で使用する条件のうちの幾つかは予め登録されている。もっとも、行動検証サーバ800の作業者が、任意の条件を与えることも可能である。抽出条件取得部810は、登録済みの又は作業者によって与えられた条件を取得する機能を実行する。
また、包丁の切れ味が悪そうな行動には、例えば何度も包丁を引く、力が加わっている、切った後に手でちぎる等が含まれる。
また、ガスコンロの着火が悪そうな行動には、例えば何度もスイッチを押す、何度も着火を確認するように覗き込む等が含まれる。
また、体を支える行動には、例えば玄関や風呂場で壁に手を掛ける、椅子やベッドから起き上がる際や座る際に手をつく等が含まれる。
抽出結果出力部840は、抽出された行動データ620を予め定めた形式で出力する機能を実行する。出力の形式は、行動検証サーバ800の作業者が選択できるようにしてもよい。
提供される情報には、注意の喚起、新製品や代替製品の提案、ライフスタイルの変化に応じた各種の提案(例えばリフォームや引っ越し)等が含まれる。
情報の提供の仕方には、郵送物を用いる手法、メールを送信する手法、いわゆるスマートスピーカを通じてお知らせする手法、家庭内に設けたデジタルサイネージを通じてお知らせする手法、ウェブ画面に広告を掲載する手法等がある。スマートスピーカには、無線通信機能、音声アシスタント機能、音再生機能等が内蔵されている。
情報の提供は、緊急性の度合いに応じて、即時、次回の連絡時や訪問時等が事前の取り決めに基づいて選択される。
図9には、14種類の出力例が示されている。勿論、これらは出力例の一部である。
・例1
出力例の1つには、指定された物品又は行動又は人に関連する行動データの出力がある。これらのうちの複数を組み合わせて指定してもよい。
出力の形式には、個人別、世帯別、年代別、性別、物品別、行動別のいずれも可能である。
行動検証サーバ800は、行動データ620を抽出の対象とするため、従前の手法では可視化されていない行動も含めた抽出結果を短時間のうちに抽出することができる。
例えば日常生活での物品の具体的な使われ方を、個人、世帯、年代、性別等を単位として可視化できる。
また例えば特定の行動に使用される物品に関する情報を、個人、世帯、年代、性別等を単位として可視化できる。
また例えば特定の人や世帯、年代や性別を単位として、物品の使われ方を可視化することができる。
また例えば公共の場所に設置された遊具や備品の使われ方に関する行動データ620を可視化できる。
出力例の1つには、指定した物品の特定の機能や部位の使用に関する情報の出力がある。
例えばエアコンの除湿機能がどのような頻度で使用されるか、どのようなタイミングで使用されるか、どの年代で使用されるか、男性と女性のどちらで使用されるか、使用の頻度の高い個人や世帯はどこか、使用の頻度の高い部屋はどこか、使用の頻度の高い地域はどこか等の情報を短時間のうちに抽出することができる。
例えばガスコンロのグリルがどのような頻度で使用されるか、どのようなタイミングで使用されるか、どの年代で使用されるか、男性と女性のどちらで使用されるか、どのような調理に使用されるか、使用の頻度の高い個人や世帯はどこか、使用の頻度の高い地域はどこか等の情報を短時間のうちに出力できる。
例えば浴室でシャワーがどのような頻度で使用されるか、どのようなタイミングで使用されるか、どの年代で使用されるか、男性と女性のどちらで使用されるか、体のどの部位に使用されるか、使用の頻度の高い個人や世帯はどこか、使用の頻度の高い地域はどこか等の情報を短時間のうちに抽出することができる。また、石鹸、シャンプー等についても使用の頻度や交換の頻度等の情報を短時間のうちに抽出することができる。
出力例の1つには、出現頻度の高い行動の出力がある。
出力の形式には、個人別、世帯別、年代別、性別、物品別のいずれも可能である。
行動検証サーバ800は、行動データ620を抽出の対象とするため、従前の手法では可視化されていない行動も含めた抽出結果を短時間のうちに出力できる。
この種の情報は、個人、世帯、年代、性別に応じたサービスや製品の開発にも利用できる。
出力例の1つには、指定した物品の使用の場所の出力がある。
出力の形式には、個人別、世帯別、年代別、性別のいずれも可能である。
行動検証サーバ800は、行動データ620を抽出の対象とするため、従前の手法では可視化されていない行動も含めた抽出結果を短時間のうちに出力できる。
例えば歯ブラシ、シェーバー、ドライヤー等について想定外の場所での使用を知ることができる。
この種の情報は、個人、世帯、年代、性別に応じたサービスや製品の開発にも利用できる。
出力例の1つには、指定した物品の使用のタイミングの出力がある。
出力の形式には、個人別、世帯別、年代別、性別のいずれも可能である。
行動検証サーバ800は、行動データ620を抽出の対象とするため、従前の手法では可視化されていない行動も含めた抽出結果を短時間のうちに出力できる。
例えば歯ブラシ、シェーバー、ドライヤー等をどのようなタイミングで使用するかを知ることができる。
この種の情報は、個人、世帯、年代、性別に応じたサービスや製品の開発にも利用できる。
出力例の1つには、指定した物品の使用の仕方の出力がある。
出力の形式には、個人別、世帯別、年代別、性別のいずれも可能である。
行動検証サーバ800は、行動データ620を抽出の対象とするため、従前の手法では可視化されていない行動も含めた抽出結果を短時間のうちに出力できる。
例えば特定の用途での使用が想定される器具や道具が他の用途で使われていることも抽出できる。特に、通信機能を有しない物品の使い方を知ることができる。
また例えば指定した物品が乱暴に使われているか、想定外の体の部位で使われているか等の情報も知ることができる。
なお、物品の使用の仕方(使い方)は、行動データ620として記録されている場合と複数の行動データ620から推定される場合がある。
また、抽出された又は推定された物品の使用の仕方(使い方)に適した物品やサービスを他のデータベースから検索して対象者に提案してもよい。例えば現在の物品よりも丈夫な物品や補強のサービスを提案に用いてもよい。
また、特定の物品に限らず、複数の物品の使用の仕方(使い方)から個人や世帯に特有の生活のパターン(又は傾向)を推定し、推定された生活のパターンに適した物品やサービスを他のデータベースから検索して対象者に提案してもよい。例えば現在の物品よりも丈夫な物品や補強のサービスを提案に用いてもよい。
出力例の1つには、行動の原因がある。
出力の形式には、個人別、世帯別、年代別、性別のいずれも可能である。
行動検証サーバ800は、行動データ620を抽出の対象とするため、従前の手法では可視化されていない行動も含めた抽出結果を短時間のうちに出力できる。
行動データ620には、解析に使用した動画像データ610の時間が含まれるため、その前の時間帯の動作や行動が実行されたときの環境についての情報も抽出することができる。このため、それらの情報を人工知能に与えることにより、行動の原因を推定して出力させることもできる。
例えばIoTデバイス340(図3参照)の操作データでは、操作の内容を知ることはできても、原因については知ることができないが、行動データ620を用いることにより、行動の原因を推定することが可能になる。
出力例の1つには、故障が予測される時期や故障の原因がある。
行動検証サーバ800は、行動データ620を抽出の対象とするため、個々の物品の使用の頻度、使用時間、使用の仕方等についての具体的な情報を取得することができる。特に、通信機能を有しない物品についての故障の時期や故障の原因を予測することが可能になる。
行動データ620には、解析に使用した動画像データ610の時間が含まれるため、例えば紐付けられている動画像データ610を抽出して分析することにより、故障の原因になりそうな行動を含めて評価することができる。
ここでの分析の結果には、故障が生じた個人(世帯)に共通する又は頻度の高い操作の仕方、扱い方等が含まれる。
このため、単純に使用頻度や使用時間だけでは推定が難しい具体的な故障の時期や故障の原因を推定することができる。
また、故障が多く発生する個人や世帯を対象として、故障の原因となる行動や行動の傾向を推定することもできる。
また、将来の不具合(故障)の予想に基づいて、新製品や代替品を提案することができる。また、将来の故障に備えて点検サービスを提案することもできる。
出力例の1つには、行動と環境との関係がある。
出力の形式には、個人別、世帯別、年代別、性別のいずれも可能である。
行動検証サーバ800は、行動データ620を抽出の対象とするため、従前の手法では可視化されていない行動も含めた抽出結果を短時間のうちに出力できる。
具体的には、特定の行動とその行動が行われた環境の情報も抽出することができる。このため、それらの情報を人工知能に与えることにより、従前には知られていなかった関係を推定して出力させることもできる。
出力例の1つには、特徴的な行動をしている人の出力がある。
この種の例には、例えば物品の不具合がある場合に特徴的な行動の出力がある。例えば包丁の切れ味が悪い場合(例11)やガスコンロの着火が悪い場合(例12)には、行動データ620から推定が可能である。例えば同様の行動が何度も抽出される場合には、物品に不具合が生じていると推定される。
他に、この種の例には、動作の前に体を支える場合(例13)や推奨されない行動(例14)がある。
いずれについても、出力の形式には、個人別、世帯別のいずれも可能である。
例えば切れ味が悪い包丁を使っている人に対しては新製品や代替品を提案することができる。また、砥石や研ぎ器の提案や包丁を研ぐサービスの提案も可能である。なお、ハサミについても新製品や代替品の紹介が可能である。
また、着火が悪いガスコンロを使っている人に対しては修理や訪問サービス、新製品や代替品を紹介することができる。
また、行動の前に体を支えている人に対してはリフォーム(例えば手すりの設置)や住替えを提案することができる。
また、推奨されない行動をしている人に対しては、使い方に対する注意を喚起したり、使い方教室への参加を提案したりできる。これにより、故障の低減、怪我の軽減を図ることができる。
以上、本発明の実施の形態について説明したが、本発明の技術的範囲は上述の実施の形態に記載の範囲に限定されない。上述の実施の形態に、種々の変更又は改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。
例えば前述の実施の形態では、マーケティング支援システム100(図1参照)として、カメラ330で撮像された動画像データ610(図1参照)を未加工のままデータセンタ600(図1参照)に蓄積しているが、未加工の動画像データ610(図1参照)の蓄積を望まない人も予想される。
図10に示す設備に特有の構成は、動画像データ610を秘匿化して通信装置350に出力する秘匿化装置370が設けられる点である。
本実施の形態の場合、秘匿化とは、個人を特定する情報に加工を加えることをいう。秘匿化には、例えば頭部、胴部などの体の部位を選択的に他の画像に置換する処理の他、全身を他の画像に置換する処理を含む。ここでの置換には、2次元画像への置換、3次元画像への置換が含まれる。なお、置換には、人の領域を塗りつぶす処理も含まれる。
この他、動画像データ610を住宅300やマンション400の専有部分410に蓄積する構成としてもよい。
また、行動データ生成サーバ700の機能を、住宅300やマンション400の専有部分410に蓄積する構成としてもよい。
Claims (8)
- 動画像データの解析処理により生成された、人の行動と当該行動に関連する物品とを紐付けた行動データを蓄積する記憶手段と、
前記記憶手段に蓄積された前記行動データのうち、予め定めた抽出条件に該当する、通信機能を有しない特定の物品に関連する又は特定の人に関連する行動データを抽出する抽出手段と、
前記人の行動に対応する前記動画像データが、前記行動データに紐付けられている場合、故障した特定の物品に対して紐付けられている前記行動データに対応する当該動画像データに共通する行動又は頻度の高い行動を抽出し、故障の原因となる情報として出力する分析手段と、
を有する画像処理システム。 - 動画像データの解析処理により生成された、人の行動と当該行動に関連する物品とを紐付けた行動データを蓄積する記憶手段と、
前記記憶手段に蓄積された前記行動データのうち、予め定めた抽出条件に該当する、通信機能を有しない特定の物品に関連する又は特定の人に関連する行動データを抽出する抽出手段と、
前記物品の使われ方に紐づけて、当該使われ方に適した物品及びサービスの少なくとも一方を記憶するデータベースと、
前記行動データの前記人の行動に紐付けられて記録されている物品の使われ方、又は、当該行動データに紐付けられている前記動画像データから推定された物品の使われ方に応じた他の物品又はサービスを前記データベースから検出して提案する提供手段と、
を有する画像処理システム。 - 動画像データの解析処理により生成された、人の行動と当該行動に関連する物品とを紐付けた行動データを蓄積する記憶手段と、
前記記憶手段に蓄積された前記行動データのうち、予め定めた抽出条件に該当する、通信機能を有しない特定の物品に関連する又は特定の人に関連する行動データを抽出する抽出手段と、
生活のパターンに紐付けて、当該生活のパターンに適した物品及びサービスの少なくとも一方を記憶するデータベースと、
前記行動データの前記人の行動に紐付けられて記録されている物品の使われ方、又は、当該行動データに紐付けられている前記動画像データから推定された、特定の個人又は特定の世帯に対応する生活のパターンに応じた物品又はサービスを前記データベースから検出して提案する提供手段と、
を有する画像処理システム。 - 動画像データの解析処理により生成された、人の行動と当該行動に関連する物品とを紐付けた行動データを蓄積する記憶手段と、
前記記憶手段に蓄積された前記行動データのうち、予め定めた抽出条件に該当する、通信機能を有しない特定の物品に関連する又は特定の人に関連する行動データを抽出する抽出手段と、
前記物品について想定される不具合に紐付けて、当該不具合に適した物品及びサービスの少なくとも一方を記憶するデータベースと、
前記行動データの前記人の行動に紐付けられて記録されている物品の使われ方、又は、当該行動データに紐付けられている前記動画像データから推定された前記物品に生じている不具合又は不具合が発生する時期に基づいて、特定の個人又は世帯に対して物品又はサービスを前記データベースから検出して提案する提案手段と、
を有する画像処理システム。 - 動画像データの解析処理により生成された、人の行動と当該行動に関連する物品とを紐付けた行動データが記憶手段に蓄積されている場合、コンピュータに、当該記憶手段に蓄積された当該行動データのうち、予め定めた抽出条件に該当する、通信機能を有しない特定の物品に関連する又は特定の人に関連する行動データを抽出させる機能と、
前記人の行動に対応する前記動画像データが、前記行動データに紐付けられている場合、コンピュータに、故障した特定の物品に対して紐付けられている当該行動データに対応する当該動画像データに共通する行動又は頻度の高い行動を抽出し、故障の原因となる情報として出力させる機能と、
を実現させるためのプログラム。 - 動画像データの解析処理により生成された、人の行動と当該行動に関連する物品とを紐付けた行動データが記憶手段に蓄積されている場合、コンピュータに、当該記憶手段に蓄積された当該行動データのうち、予め定めた抽出条件に該当する、通信機能を有しない特定の物品に関連する又は特定の人に関連する行動データを抽出させる機能と、
コンピュータに、前記物品の使われ方に紐づけて、当該使われ方に適した物品及びサービスの少なくとも一方を記憶するデータベースから、当該行動データの前記人の行動に紐付けられて記録されている物品の使われ方、又は、当該行動データに紐付けられている前記動画像データから推定された物品の使われ方に応じた他の物品又はサービスを検出して提案させる機能と、
を実現させるためのプログラム。 - 動画像データの解析処理により生成された、人の行動と当該行動に関連する物品とを紐付けた行動データが記憶手段に蓄積されている場合、コンピュータに、当該記憶手段に蓄積された当該行動データのうち、予め定めた抽出条件に該当する、通信機能を有しない特定の物品に関連する又は特定の人に関連する行動データを抽出させる機能と、
コンピュータに、生活のパターンに紐付けて、当該生活のパターンに適した物品及びサービスの少なくとも一方を記憶するデータベースから、当該行動データの前記人の行動に紐付けられて記録されている物品の使われ方、又は、当該行動データに紐付けられている前記動画像データから推定された、特定の個人又は特定の世帯に対応する生活のパターンに応じた物品又はサービスを検出して提案させる機能と、
を実現させるためのプログラム。 - 動画像データの解析処理により生成された、人の行動と当該行動に関連する物品とを紐付けた行動データが記憶手段に蓄積されている場合、コンピュータに、当該記憶手段に蓄積された当該行動データのうち、予め定めた抽出条件に該当する、通信機能を有しない特定の物品に関連する又は特定の人に関連する行動データを抽出させる機能と、
コンピュータに、前記物品について想定される不具合に紐付けて、当該不具合に適した物品及びサービスの少なくとも一方を記憶するデータベースから、前記行動データの前記人の行動に紐付けられて記録されている物品の使われ方、又は、当該行動データに紐付けられている前記動画像データから推定された前記物品に生じている不具合又は不具合が発生する時期に基づいて、特定の個人又は世帯に対して物品又はサービスを検出して提案させる機能と、
を実現させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018071814A JP7186009B2 (ja) | 2018-04-03 | 2018-04-03 | 画像処理システム及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018071814A JP7186009B2 (ja) | 2018-04-03 | 2018-04-03 | 画像処理システム及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019185185A JP2019185185A (ja) | 2019-10-24 |
JP7186009B2 true JP7186009B2 (ja) | 2022-12-08 |
Family
ID=68341176
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018071814A Active JP7186009B2 (ja) | 2018-04-03 | 2018-04-03 | 画像処理システム及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7186009B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111274910B (zh) * | 2020-01-16 | 2024-01-30 | 腾讯科技(深圳)有限公司 | 场景互动方法、装置及电子设备 |
WO2023248496A1 (ja) * | 2022-06-23 | 2023-12-28 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 情報処理方法、情報処理装置及びプログラム |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005284408A (ja) | 2004-03-26 | 2005-10-13 | Matsushita Electric Works Ltd | キッチン作業支援システム |
JP2008015585A (ja) | 2006-07-03 | 2008-01-24 | National Institute Of Information & Communication Technology | 生活タスク支援システム |
JP2015171210A (ja) | 2014-03-06 | 2015-09-28 | 三菱電機株式会社 | 家電機器の支援情報提供システム |
JP2017182531A (ja) | 2016-03-31 | 2017-10-05 | 大日本印刷株式会社 | 情報処理装置、情報処理方法、およびプログラム |
-
2018
- 2018-04-03 JP JP2018071814A patent/JP7186009B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005284408A (ja) | 2004-03-26 | 2005-10-13 | Matsushita Electric Works Ltd | キッチン作業支援システム |
JP2008015585A (ja) | 2006-07-03 | 2008-01-24 | National Institute Of Information & Communication Technology | 生活タスク支援システム |
JP2015171210A (ja) | 2014-03-06 | 2015-09-28 | 三菱電機株式会社 | 家電機器の支援情報提供システム |
JP2017182531A (ja) | 2016-03-31 | 2017-10-05 | 大日本印刷株式会社 | 情報処理装置、情報処理方法、およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2019185185A (ja) | 2019-10-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Alemdar et al. | ARAS human activity datasets in multiple homes with multiple residents | |
CN111543902B (zh) | 地面清洁方法、装置、智能清洁设备和存储介质 | |
CN111657798B (zh) | 基于场景信息的清扫机器人控制方法、装置和清扫机器人 | |
CN108877126A (zh) | 经由居家助手进行活动监视的系统、方法和设备 | |
Moriya et al. | Daily living activity recognition with echonet lite appliances and motion sensors | |
KR101896216B1 (ko) | 스마트 홈 네트워크 시스템 | |
JP7186009B2 (ja) | 画像処理システム及びプログラム | |
CN111643017B (zh) | 基于日程信息的清扫机器人控制方法、装置和清扫机器人 | |
Zouba et al. | A computer system to monitor older adults at home: Preliminary results | |
Kashimoto et al. | Low-cost and device-free activity recognition system with energy harvesting PIR and door sensors | |
Han et al. | Smart home occupant identification via sensor fusion across on-object devices | |
JP2023156424A (ja) | 情報処理方法、情報処理装置及び情報処理プログラム | |
JP2011090408A (ja) | 情報処理装置、その行動推定方法及びプログラム | |
WO2022252706A1 (zh) | 用于控制香氛装置的方法、系统、装置及服务器 | |
Nakagawa et al. | Investigating recognition accuracy improvement by adding user's acceleration data to location and power consumption-based in-home activity recognition system | |
JP2019185184A (ja) | 画像処理システム及びプログラム | |
Chiriac et al. | An ambient assisted living monitoring system for activity recognition–results from the first evaluation stages | |
CN111433801A (zh) | 数据生成装置、数据生成方法、数据生成程序及传感器装置 | |
US11869104B2 (en) | Visitor-tailored property configuration | |
US20220093277A1 (en) | Path analytics of disease vectors in a physical space using smart floor tiles | |
JP6749120B2 (ja) | ネットワークシステム、情報処理方法、およびサーバ | |
Moretti et al. | Towards a monitoring smart home for the elderly: One experience in retrofitting a sensor network into an existing home | |
JP6890304B2 (ja) | 評価システム、評価方法、及びプログラム | |
JP7382949B2 (ja) | 情報提供方法 | |
CN105913133A (zh) | 一种生肖酒店的预订系统及其预定方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201127 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211018 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211124 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220120 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220607 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220728 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221122 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221128 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7186009 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |