JP5345113B2 - コンテンツ出力システム、出力制御装置、出力制御方法、及びコンピュータプログラム - Google Patents

コンテンツ出力システム、出力制御装置、出力制御方法、及びコンピュータプログラム Download PDF

Info

Publication number
JP5345113B2
JP5345113B2 JP2010201251A JP2010201251A JP5345113B2 JP 5345113 B2 JP5345113 B2 JP 5345113B2 JP 2010201251 A JP2010201251 A JP 2010201251A JP 2010201251 A JP2010201251 A JP 2010201251A JP 5345113 B2 JP5345113 B2 JP 5345113B2
Authority
JP
Japan
Prior art keywords
content
person
output
distance
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010201251A
Other languages
English (en)
Other versions
JP2012058476A (ja
Inventor
洋孝 久保田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2010201251A priority Critical patent/JP5345113B2/ja
Priority to CN201110270223.6A priority patent/CN102402927B/zh
Priority to US13/226,544 priority patent/US8976109B2/en
Publication of JP2012058476A publication Critical patent/JP2012058476A/ja
Application granted granted Critical
Publication of JP5345113B2 publication Critical patent/JP5345113B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)
  • Television Signal Processing For Recording (AREA)

Description

本発明は、コンテンツを出力するコンテンツ出力システム、コンテンツの切り替え出力を制御する出力制御装置、出力制御方法、及びコンピュータプログラムに関する。
デジタルサイネージ(電子看板)は、デジタル技術を利用した広告媒体であり、店舗又は公共スペース等に設置されたコンテンツ出力装置に、例えば商業用途の広告としてのコンテンツを出力する。
コンテンツ出力装置が出力すべきコンテンツは、コンテンツ出力装置の設置場所、現在時刻、若しくはコンテンツ出力装置の近傍に通行人が存在するか否か等に応じて、静的又は動的に変更される。
コンテンツを静的に変更する場合には、例えば、コンテンツ出力装置の出力制御装置が、複数のコンテンツを順次切り替えてコンテンツ出力装置に出力させる。
コンテンツを動的に変更する場合には、例えば、コンテンツ出力装置の出力制御装置が、コンテンツ出力装置の近傍を撮像する撮像装置から画像(以下、撮像画像という)を取得し、取得した撮像画像に対して、通行人の有無又は人数等を検出するための人物認識処理を施し、複数のコンテンツを、人物認識処理の結果に応じて切り替えてコンテンツ出力装置に出力させる。
また、人物認識処理と共に、通行人の顔認識処理を行なう場合には、通行人に関する詳細な情報(例えば通行人の性別又は年齢層)を得ることができる。この場合、得られた情報に応じてコンテンツを適切なものに切り替えたり、得られた情報を、広告効果の評価に役立てるべく収集したりすることができる。
コンテンツを動的に変更する他の例としては、通行人の移動速度を検出し、検出された移動速度の高低に応じて、コンテンツを切り替える情報出力装置が挙げられる(特許文献1参照)。
移動速度が低い通行人は、コンテンツに注目する可能性が高く、移動速度が高い通行人は、コンテンツに注目する可能性が低い。従って、特許文献1に記載の情報出力装置によれば、通行人がコンテンツに注目している可能性が高いか否かに応じて、コンテンツを適切なものに切り替えることができる。この結果、コンテンツによる広告効果を向上させることができる。
ところで、従来、屋内既知環境におけるリアルタイムの人物追跡技術が提案されている(非特許文献1参照)。
特開2006−235311号公報
加藤博一、中澤篤志、井上征士著「楕円体モデルを用いたリアルタイム人物追跡」、情報処理学会論文誌、Vol.40、No.11 、p.4087-4096
通行人の移動速度には個人差がある。このため、ゆっくり移動している通行人が必ずしもコンテンツに注目しているとは限らず、単にコンテンツ出力装置の前を通り過ぎているだけということもあり得る。その一方で、素早く移動している通行人がコンテンツに注目していることもあり得る。従って、特許文献1に記載の情報出力装置による場合、コンテンツ出力装置に適切なコンテンツが出力されないという不都合が生じ得る。
このような不都合を解消するために、撮像画像に対して顔認識処理を施すことが考えられる。この場合、通行人の顔がコンテンツ出力装置の方を向いているか否か、即ち、通行人がコンテンツに注目しているか否かを正確に判定することが可能である。
しかしながら、顔認識処理の手順は一般に煩雑であるため、特に、通行人の数が多い場合には、演算負荷が非常に大きくなる。
本発明は斯かる事情に鑑みてなされたものであり、その主たる目的は、撮像画像に含まれている人物の移動速度の変化に応じて複数のコンテンツを切り替え出力する構成とすることにより、通行人がコンテンツに注目しているか否かに応じて適切なコンテンツを出力することができるコンテンツ出力システム、出力制御装置、出力制御方法、及びコンピュータプログラムを提供することにある。
本発明に係るコンテンツ出力システムは、撮像装置と、複数のコンテンツを記憶している記憶装置と、該記憶装置が記憶しているコンテンツを出力するコンテンツ出力装置と、前記撮像装置が撮像した画像が時系列的に入力され、入力された画像に基づいて、前記コンテンツ出力装置による前記コンテンツの切り替え出力を制御する出力制御装置とを備えるコンテンツ出力システムであって、前記出力制御装置は、前記画像に基づいて、該画像に人物が含まれているか否かを判定する人物判定手段と、該人物判定手段が、前記画像に人物が含まれていると判定した場合、所定位置から前記画像に含まれている人物までの距離を演算する距離演算手段と、該距離演算手段の演算結果が、所定距離以下であるか否かを判定する距離判定手段と、該距離判定手段が、前記距離演算手段の演算結果が所定距離以下であると判定した前記人物の移動速度の変化を演算する変化演算手段と、該変化演算手段の演算結果、並びに前記人物判定手段及び距離判定手段夫々の判定結果に応じたコンテンツを、前記記憶装置が記憶しているコンテンツの内から選択して前記コンテンツ出力装置に出力させる出力制御手段と、前記変化演算手段の演算結果が移動速度の低下を示した前記人物が存在する場合に、該人物によるコンテンツの視聴に関する視聴情報を記録する記録手段とを備えることを特徴とする。
本発明に係る出力制御装置は、画像が時系列的に入力され、入力された画像に基づいて、外部での複数のコンテンツの切り替え出力を制御する出力制御装置であって、前記画像に基づいて、該画像に人物が含まれているか否かを判定する人物判定手段と、該人物判定手段が、前記画像に人物が含まれていると判定した場合、所定位置から前記画像に含まれている人物までの距離を演算する距離演算手段と、該距離演算手段の演算結果が、所定距離以下であるか否かを判定する距離判定手段と、該距離判定手段が、前記距離演算手段の演算結果が所定距離以下であると判定した前記人物の移動速度の変化を演算する変化演算手段と、該変化演算手段の演算結果、並びに前記人物判定手段及び距離判定手段夫々の判定結果に応じたコンテンツを選択して出力させる出力制御手段と、前記変化演算手段の演算結果が移動速度の低下を示した前記人物が存在する場合に、該人物によるコンテンツの視聴に関する視聴情報を記録する記録手段とを備えることを特徴とする。
本発明に係る出力制御装置は、前記変化演算手段の演算結果が、移動速度の低下を示しているか否かを判定する速度判定手段を更に備え、前記出力制御手段は、前記人物判定手段又は前記速度判定手段が、否と判定した場合に、第1のコンテンツを出力させる手段と、少なくとも1人の前記人物に関して、前記速度判定手段が、前記変化演算手段の演算結果が移動速度の低下を示していると判定した場合に、前記第1のコンテンツに替えて該第1のコンテンツとは異なる第2のコンテンツを出力させる手段とを有することを特徴とする。
本発明に係る出力制御装置は、前記速度判定手段は、前記変化演算手段の演算結果が、移動速度の所定割合以上の低下である場合に、前記変化演算手段の演算結果が移動速度の低下であると判定するようにしてあることを特徴とする。
本発明に係る出力制御装置は、前記画像に基づいて、前記変化演算手段の演算結果が移動速度の低下を示した前記人物の顔を認識する顔認識手段を更に備え、前記記録手段は、記録すべき視聴情報に、前記顔認識手段による認識結果に基づく情報を含むようにしてあることを特徴とする。
本発明に係る出力制御方法は、画像が時系列的に入力される出力制御装置が、入力された画像に基づいて、外部での複数のコンテンツの切り替え出力を制御する出力制御方法であって、前記画像に人物が含まれている場合、前記画像に含まれている人物の内、所定位置から前記人物までの距離が所定距離以下である人物の移動速度の変化を演算し、該変化の演算結果、並びに前記画像に人物が含まれているか否か、及び前記画像に前記所定位置からの距離が前記所定距離以下である人物が含まれているか否かに応じたコンテンツを選択して出力させ、前記変化の演算結果が移動速度の低下を示した前記人物が存在する場合に、該人物によるコンテンツの視聴に関する視聴情報を記録することを特徴とする。
本発明に係るコンピュータプログラムは、画像が時系列的に入力されるコンピュータに、入力された画像に基づいて、外部での複数のコンテンツの切り替え出力を制御させるためのコンピュータプログラムであって、コンピュータに、前記画像に基づいて、該画像に人物が含まれているか否かを判定させる人物判定ステップと、コンピュータに、前記人物判定ステップで、前記画像に人物が含まれていると判定された場合、所定位置から前記画像に含まれている人物までの距離を演算させる距離演算ステップと、コンピュータに、前記距離演算ステップでの演算結果が、所定距離以下であるか否かを判定させる距離判定ステップと、コンピュータに、前記距離判定ステップにて、前記距離演算ステップでの演算結果が所定距離以下であると判定された前記人物の移動速度の変化を演算させる変化演算ステップと、コンピュータに、前記変化演算ステップでの演算結果、並びに前記人物判定ステップ及び距離判定ステップ夫々での判定結果に応じたコンテンツを選択して出力させる出力制御ステップと、コンピュータに、前記変化演算ステップでの演算結果が移動速度の低下を示した前記人物が存在する場合に、該人物によるコンテンツの視聴に関する視聴情報を記録させる記録ステップとを実行させることを特徴とする。
本発明にあっては、出力制御装置が、人物判定手段、変化演算手段、及び出力制御手段を備える。このような出力制御装置は、本発明に係る出力制御方法を実現し、また、撮像装置、記憶装置、及びコンテンツ出力装置と共に、本発明に係るコンテンツ出力システムを構成する。更に、本発明に係るコンピュータプログラムは、本発明の出力制御装置が備える各種手段を、コンピュータのハードウェア要素を用いてソフトウェア的に実現させる。
撮像装置は、例えば、コンテンツ出力装置の近傍に存在する人物が、コンテンツ出力装置に出力されるコンテンツ(静止画像、動画像、及び/又は音声等)を視聴することが可能な範囲を撮像する。以下では、撮像装置が撮像する範囲を撮像範囲という。
撮像装置が撮像した画像は、出力制御装置に、時系列的に入力される。
出力制御装置は、入力された画像に基づいて、コンテンツ出力装置による複数のコンテンツの切り替え出力を制御する。
このために、出力制御装置の人物判定手段は、入力された画像に基づいて、入力された画像に人物が含まれているか否かを判定する。
入力された画像に人物が含まれている(又は含まれていない)場合とは、コンテンツを視聴可能な人物が存在する(又は存在しない)場合である。以下では、コンテンツを視聴可能な人物を視聴可能者という。
視聴可能者は、一般に、撮像範囲を通行する通行人であり、コンテンツに興味がある視聴可能者はコンテンツに注目するが、コンテンツに興味がない視聴可能者はコンテンツに注目しない。
コンテンツ出力装置が出力しているコンテンツに注目している場合、視聴可能者は、撮像範囲内で移動速度を落とすか、又は立ち止まる可能性が高い。一方、コンテンツ出力装置が出力しているコンテンツに注目する気がない視聴可能者が、撮像範囲内で移動速度を落としたり立ち止まったりする可能性は低い。
以上のような傾向は、視聴可能者の移動速度そのものの高低には左右され難い。従って、視聴可能者の移動速度の変化は、視聴可能者の移動速度そのものと比べて、視聴可能者がコンテンツに注目しているか否かを忠実に反映している。
そこで、人物判定手段が、入力された画像に人物が含まれている、と判定した場合、変化演算手段は、入力された画像に含まれている視聴可能者の移動速度の変化を演算する。ここで、変化演算手段による演算処理は、例えば顔認識処理よりも簡易であり、演算負荷は小さい。
更に、出力制御手段は、変化演算手段の演算結果(即ち、視聴可能者がコンテンツに注目しているか否かの指標)と、人物判定手段の判定結果(即ち、視聴可能者が存在するか否か)とに応じたコンテンツを、記憶装置が記憶している複数のコンテンツの内から選択してコンテンツ出力装置に出力させる。
以上の結果、撮像範囲内の状況に応じた適切なコンテンツがコンテンツ出力装置によって出力される。
本発明にあっては、出力制御装置が、速度判定手段を更に備える。
速度判定手段は、変化演算手段の演算結果が、移動速度の低下を示しているか否かを判定する。
視聴可能者が移動速度を落とすか立ち止まると、変化演算手段の演算結果は、移動速度の低下を示す。一方、視聴可能者が移動速度を落としたり立ち止まったりしない場合には、変化演算手段の演算結果は、移動速度の上昇を示すか、又は、移動速度“0”を超過している移動速度の維持を示す。
従って、速度判定手段が、変化演算手段の演算結果が移動速度の低下を示している、と判定する場合には、コンテンツに注目している視聴可能者(以下、視聴者という)が存在する。一方、速度判定手段が否(即ち、変化演算手段の演算結果が移動速度の低下を示していない)と判定する場合には、コンテンツに注目していない視聴可能者が存在する。
そこで、出力制御手段は、人物判定手段が否(即ち、入力された画像に人物が含まれていない)と判定したか、又は、速度判定手段が否と判定した場合に、第1のコンテンツをコンテンツ出力装置に出力させる。
一方、出力制御手段は、少なくとも1人の視聴可能者に関して、速度判定手段が、変化演算手段の演算結果が移動速度の低下を示している、と判定した場合に、第1のコンテンツに替えて第2のコンテンツをコンテンツ出力装置に出力させる。
以上の結果、出力制御装置は、撮像範囲内の状況に応じた最適なコンテンツをコンテンツ出力装置に出力させることができる。
更に詳細には、撮像範囲に視聴可能者そのものが存在していないか、又は、コンテンツに注目していない視聴可能者だけが存在している場合には、出力制御装置の制御によって、コンテンツ出力装置は、第1のコンテンツを出力することができる。ここで、第1のコンテンツは、撮像範囲外に存在する人物、及び、コンテンツに注目していない視聴可能者の耳目を集めるようなものであることが望ましい。
一方、視聴者が1人でも存在している場合には、コンテンツ出力装置は、出力制御装置の制御によって、第2のコンテンツを出力することができる。ここで、第2のコンテンツは、視聴者に特に提供すべきものであることが望ましい。
本発明にあっては、速度判定手段は、変化演算手段の演算結果が、移動速度の所定割合以上の低下である(即ち、視聴可能者の移動速度が大幅に低下している)場合に、変化演算手段の演算結果が移動速度の低下である、と判定する。一方、変化演算手段の演算結果が、移動速度の所定割合未満の低下である場合(即ち、視聴可能者の移動速度が僅かに低下している場合)には、速度判定手段は、変化演算手段の演算結果が移動速度の低下ではない、と判定する。
何故ならば、コンテンツ出力装置が出力しているコンテンツに興味がない視聴可能者であっても、コンテンツとは無関係な理由で僅かに移動速度を落とすことがあり、コンテンツ出力装置が出力しているコンテンツに興味がある視聴可能者は、コンテンツに注目すべく大幅に移動速度を落とす傾向にあるからである。
以上の結果、出力制御装置は、コンテンツに注目していない視聴可能者に対して、第2のコンテンツを提供してしまう不都合を抑制することができる。
本発明にあっては、出力制御装置が、距離演算手段及び距離判定手段を更に備える。
人物判定手段が、入力された画像に人物が含まれている、と判定した場合、距離演算手段は、所定位置から視聴可能者までの距離を演算する。ここで、所定位置とは、例えばコンテンツ出力装置の設置位置、又はコンテンツ出力装置が出力しているコンテンツを最も視聴し易い位置等である。
次に、距離判定手段は、距離演算手段の演算結果が所定距離以下であるか否かを判定する。
距離演算手段の演算結果が所定距離以下である場合、即ち、所定位置から視聴可能者までの距離が短い場合、視聴可能者がコンテンツに注目する可能性は高まる。このため、所定位置に近い視聴可能者が移動速度を落としたり立ち止まったりした場合には、この視聴可能者がコンテンツに注目している可能性は非常に高い。
そこで、変化演算手段は、距離判定手段が、距離演算手段の演算結果が所定距離以下である、と判定した視聴可能者に関して、入力された画像に含まれている視聴可能者の移動速度の変化を演算する。
一方、距離演算手段の演算結果が所定距離を超過している場合、即ち、所定位置から視聴可能者までの距離が長い場合、視聴可能者がコンテンツに注目する可能性は低くなる。このため、所定位置から遠い視聴可能者が移動速度を落としたり立ち止まったりしたとしても、この視聴可能者がコンテンツに注目している可能性は非常に低い。何故ならば、コンテンツに興味がある視聴可能者は、遠くからコンテンツを視聴するよりは、所定位置の近くまで来て視聴するはずだからである。従って、所定位置から遠い視聴可能者は、無視しても特段の問題はない。
故に、変化演算手段は、距離判定手段が否(即ち、距離演算手段の演算結果が所定距離超過である)と判定した視聴可能者、換言すれば、移動速度の変化を演算せずとも、コンテンツに注目していないと看做せる視聴可能者に関して、移動速度の変化を演算しない。つまり、出力制御装置は、無用の演算処理を省略することができる。
以上の結果、出力制御装置は、視聴者が存在するか否かを、演算負荷を低減しつつ正確に判定することができる。
本発明にあっては、出力制御装置が、記録手段を更に備える。
記録手段は、変化演算手段の演算結果が移動速度の低下を示した視聴可能者(即ち、コンテンツに注目した視聴可能者。以下では、コンテンツに注目した視聴可能者も視聴者という)が存在する場合に、この視聴者によるコンテンツの視聴に関する視聴情報を記録する。ここで、視聴情報は、コンテンツによる広告効果の高低の指標となるものが望ましく、例えば、視聴者の人数を示す情報である。この例では、出力制御装置は、視聴可能者そのものの人数ではなく、視聴可能者の内、視聴者の人数のみを計数することができる。
即ち、出力制御装置は、コンテンツによる広告効果の正確な評価に寄与する視聴情報を収集することができる。
本発明にあっては、出力制御装置が、顔認識手段を更に備える。
顔認識手段は、入力された画像に基づいて、変化演算手段の演算結果が移動速度の低下を示した視聴可能者(即ち視聴者)の顔を認識する。即ち、顔認識手段が、視聴可能者の内、コンテンツに注目しなかった視聴可能者の顔を認識することはない。
つまり、出力制御装置は、視聴可能者全員に対して顔認識処理を実行する必要がないため、煩雑な顔認識処理を比較的短時間で完了することができる。
更に、記録手段は、記録すべき視聴情報に、顔認識手段による認識結果に基づく情報を含む。この情報は、コンテンツによる広告効果の高低の指標となるものが望ましく、例えば、視聴者の性別若しくは年齢層等を示す情報、又は、入力された画像から、視聴者の顔を含む領域のみを切り出した部分画像等である。
以上の結果、出力制御装置は、無駄に長時間の演算を行なうことなく、コンテンツによる広告効果の正確な評価に更に寄与することができる。
本発明のコンテンツ出力システム、出力制御装置、出力制御方法、及びコンピュータプログラムによる場合、撮像範囲内に視聴可能者が存在するか否か、また、視聴可能者が存在しているときには視聴可能者がコンテンツに注目しているか否かに応じて、視聴可能者に対し、適切なコンテンツを提供することができる。
しかも、視聴可能者がコンテンツに注目しているか否かを、視聴可能者の移動速度の変化に基づいて判定することができるため、視聴可能者の移動速度そのものに基づいて判定する場合と比べて、視聴可能者がコンテンツに注目しているか否かを正確に判定することができる。
更に、視聴可能者がコンテンツに注目しているか否かを判定するための処理は、例えば顔認識処理と比べて簡易である。従って、多数の視聴可能者が存在する場合であっても、演算負荷が増大する不都合を抑制することができる。
本発明の実施の形態1に係るコンテンツ出力システムの構成を示すブロック図である。 本発明の実施の形態1に係るコンテンツ出力システムによる視聴者の認識を説明する概念図である。 本発明の実施の形態1に係る出力制御装置が備えるHDD(ハードディスク)に記憶してあるコンテンツテーブルの一例を示す模式図である。 本発明の実施の形態1に係るコンテンツ出力システムによるコンテンツの切り替え出力を説明する概念図である。 本発明の実施の形態1に係る出力制御装置で実行される視聴者認識処理の手順を示すフローチャートである。 本発明の実施の形態1に係る出力制御装置で実行される視聴者認識処理の手順を示すフローチャートである。 本発明の実施の形態1に係る出力制御装置で実行される出力制御処理の手順を示すフローチャートである。 本発明の実施の形態1に係る出力制御装置で実行される出力制御処理の手順を示すフローチャートである。 本発明の実施の形態2に係るコンテンツ出力システムの構成を示すブロック図である。 本発明の実施の形態2に係る出力制御装置が備えるHDDに記憶してある視聴記録DB(データベース)の一例を示す模式図である。
以下、本発明を、その実施の形態を示す図面に基づいて詳述する。
実施の形態 1.
図1は、本発明の実施の形態1に係るコンテンツ出力システム1の構成を示すブロック図である。
コンテンツ出力システム1は、撮像装置2、コンテンツ出力装置3、記憶装置4、及び出力制御装置5を備えている。本実施の形態では、コンテンツ出力システム1が商店で利用される場合を例示するが、これに限定されるものではない。
図2は、コンテンツ出力システム1による視聴者の認識を説明する概念図であって、道路を通行する5人の通行人M1〜M5と、道路に面した商店に設置されている撮像装置2及びコンテンツ出力装置3とを示す模式的な平面図でもある。
図2に含まれている白抜矢符S1,S2の長/短は、通行人M1〜M5夫々の移動速度の高/低を示している。更に詳細には、長い白抜矢符S1は、コンテンツ出力装置3が出力しているコンテンツを、通行人がその移動速度で移動しながら視聴することが困難な高い移動速度を意味し、短い白抜矢符S2は、コンテンツ出力装置3が出力しているコンテンツを、通行人がその移動速度で移動しながら視聴することが容易な低い移動速度を意味している。
図2Aには、第1時刻における通行人M1〜M5夫々の状態が示されており、図2Bには、第1時刻より後の第2時刻における通行人M1〜M5夫々の状態が示されている。
コンテンツ出力装置3は、液晶ディスプレイ及びスピーカを用いてなり、映像及び音声からなるコンテンツを出力する。また、コンテンツ出力装置3は、液晶ディスプレイの表示画面及びスピーカの音声出力部を道路に向けた状態で、店頭に設置されている。なお、コンテンツ出力装置3は、液晶ディスプレイに替えてプラズマディスプレイを用いてなる構成でもよく、スピーカを備えていない構成でもよい。
コンテンツ出力装置3が出力するコンテンツは、商業用途の広告であり、更に詳細には、第1のコンテンツと第2のコンテンツとに区別される。第1のコンテンツは、視聴可能者の有無に拘らず出力されるコンテンツであり、第2のコンテンツは、視聴者が存在する場合にのみ出力されるコンテンツである。
このため、第1のコンテンツは、コンテンツを受動的に視聴している視聴可能者の興味をそそるようなものが望ましく、例えば、大きな文字で広告内容の主題が書かれている映像、及び派手な効果音等を用いてなる。一方、第2のコンテンツは、コンテンツを能動的に視聴している視聴可能者(即ち視聴者)に特に提供すべきものであり、例えば、小さな文字で広告内容の詳細が書かれている映像、及び具体的なメッセージ音声等を用いてなる。
以下では、第1のコンテンツ及び第2のコンテンツを区別しない場合、単にコンテンツという。
なお、コンテンツは商業用途の広告に限定されるものではない。また、第1のコンテンツと第2のコンテンツとの差異は、静止画像を用いてなるか動画像を用いてなるか、又は、音声が出力されるか否か等であってもよい。
撮像装置2は、デジタルスチルカメラを用いてなり、コンテンツ出力装置3と共に店頭に設置されている。撮像装置2は、図2に示すような所定の撮像範囲Rを一定の時間間隔で繰り返し撮像し、撮像した画像(以下、撮像画像という)を時系列的に出力制御装置5へ出力する。なお、撮像装置2は、デジタルビデオカメラを用いてなる構成でもよい。
ここで、撮像範囲Rは、コンテンツ出力装置3の周辺の適宜の範囲であり、具体的には、コンテンツ出力装置3が出力しているコンテンツを通行人が視聴可能な範囲である。従って、図2の例では、撮像範囲Rの内側を移動している通行人M1〜M4夫々は視聴可能者であり、撮像範囲Rの外側を移動している通行人M5は視聴可能者ではない。
ただし、撮像範囲Rの内、コンテンツ出力装置3に近い範囲、更に詳細には、コンテンツ出力装置3の設置位置からの離隔距離が所定距離L以下の範囲(図中、撮像範囲Rにおける二点鎖線の左側の範囲)は、第1のコンテンツ及び第2のコンテンツ共に視聴が容易な範囲である。
一方、コンテンツ出力装置3から遠い範囲、即ち、コンテンツ出力装置3からの離隔距離が所定距離L超過の範囲は、第1のコンテンツの視聴は容易であるが、第2のコンテンツの視聴は困難な範囲である。
通行人M1は、図2Aに示す第1時刻にコンテンツ出力装置3が出力しているコンテンツに興味がない。このような通行人M1は、第1時刻においてコンテンツ出力装置3に近い範囲を低速(白抜矢符S2)で移動しており、図2Bに示す第2時刻においても図2Aに示す第1時刻と同じように低速(白抜矢符S2)で移動している。
通行人M2は、第1時刻にコンテンツ出力装置3が出力しているコンテンツに興味がある。このため、通行人M2は、第1時刻においてコンテンツ出力装置3に近い範囲を高速(白抜矢符S1)で移動しているが、図2Bに示す第2時刻においては、コンテンツ出力装置3が出力しているコンテンツに注目すべく、図2Aに示す第1時刻の移動速度よりも低速(白抜矢符S2)で移動している。
以上のように、図2Bに示す第2時刻においては、通行人M1,M2共に、コンテンツ出力装置3が出力しているコンテンツを視聴し易い低速(白抜矢符S2)で移動している。しかしながら、通行人M1は、コンテンツに注目していない視聴可能者であり、通行人M2は視聴者である。
つまり、視聴可能者の移動速度そのものが低いか否かを判定するよりも、視聴可能者の移動速度が低下したか否かを判定する方が、視聴者であるか否かの判定精度が向上される。しかも、視聴者であるか否かを判定するために、顔認識処理のように煩雑な処理を実行する必要がないため、演算負荷が低減される。
通行人M3は、図2Aに示す第1時刻において高速(白抜矢符S1)で移動しており、図2Bに示す第2時刻においても図2Aに示す第1時刻と同じように高速(白抜矢符S1)で移動している。このように、移動速度が低下していない通行人M3は、コンテンツに注目していない視聴可能者である。
通行人M4は、第1時刻において高速(白抜矢符S1)で移動しているが、図2Bに示す第2時刻においては、図2Aに示す第1時刻の移動速度よりも低速(白抜矢符S2)で移動している。しかしながら、通行人M4は第1時刻及び第2時刻共にコンテンツ出力装置3から遠い範囲を移動している。故に、通行人M4は、コンテンツに注目していない視聴可能者であって、通行人M4が減速した理由は、コンテンツ出力装置3が出力しているコンテンツとは無関係である。
つまり、視聴者の移動速度が低下したか否かの判定のみならず、視聴者の所定位置(この場合、コンテンツ出力装置3の設置位置)からの離隔距離が所定距離L以下であるか否かの判定を行なうことによって、視聴者であるか否かの判定精度が更に向上される。しかも、所定位置からの離隔距離が所定距離Lを超過している視聴可能者については、移動速度が低下したか否かを判定することによって視聴者であるか否かを判定する必要がない(即ち、判定するまでもなく視聴者ではないと結論づけることができる)ため、演算負荷が更に低減される。
仮に、通行人M4が視聴者であるとしても、コンテンツ出力装置3から遠い範囲を移動している通行人M4にとって、第2のコンテンツは視聴困難なものである。故に、通行人M4を視聴者であると判定して通行人M4に第2のコンテンツを提供しても無益である。換言すれば、通行人M4を視聴者ではないと判定することに格別の問題はない。
なお、コンテンツ出力システム1は、視聴者であるか否かを判定する際に、視聴者の所定位置からの離隔距離を考慮しない構成でもよい。例えば、コンテンツ出力装置3の設置位置からの離隔距離とは無関係に、視聴可能者が、コンテンツ出力装置3が出力する第1のコンテンツ又は第2のコンテンツを容易に視聴することができるのであれば、敢えて離隔距離を考慮する必要はない。
図1に示す記憶装置4は、ファイルサーバを用いてなり、コンテンツ出力装置3が出力すべき複数のコンテンツ夫々の本体(例えばコンテンツのデータファイルそのもの)を記憶している。また、記憶装置4は、出力制御装置5の要求に応じて、要求されたコンテンツを出力制御装置5に与える。なお、記憶装置4は、ファイルサーバに限定されず、例えば、出力制御装置5に外付け又は内蔵されたストレージであってもよい。
本実施の形態における記憶装置4は、4つの第1のコンテンツC11〜C14と、3つの第2のコンテンツC21,C22,C24(以下では、第2のコンテンツC21,C22,C24を総称して第2のコンテンツC21〜C24という)とを記憶している。
第1のコンテンツC11と第2のコンテンツC21とは対応しており、第2のコンテンツC21は、第1のコンテンツC11の広告内容の詳細を示すものである。
同様に、第1のコンテンツC12(又は第1のコンテンツC14)と第2のコンテンツC22(又は第2のコンテンツC24)とは対応している。
第1のコンテンツC13に対応する第2のコンテンツは存在しない。
出力制御装置5は、PC(パーソナルコンピュータ)、又はサーバ等の汎用機を用いてなり、CPU50、ROM51、RAM52、HDD53、及びI/F部54を備えている。
I/F部54は、出力制御装置5と、撮像装置2、コンテンツ出力装置3、及び記憶装置4夫々とを有線又は無線で通信可能に接続するインタフェースである。撮像装置2からは、I/F部54を介して撮像画像が入力される。記憶装置4からは、I/F部54を介してコンテンツが与えられる。コンテンツ出力装置装置3へは、I/F部54を介してコンテンツが与えられる。
なお、出力制御装置5と、撮像装置2、コンテンツ出力装置3、及び/又は記憶装置4夫々とは、専用線で直結される構成に限定されず、LAN又はインターネット等の通信回線を介して接続される構成であってもよい。また、撮像装置2、コンテンツ出力装置3、記憶装置4、及び/又は出力制御装置5が、一体的に設けられていてもよい。更に、記憶装置4からコンテンツ出力装置3へ直接的にコンテンツが与えられる構成でもよい。
CPU50は、出力制御装置5の制御中枢であり、RAM52を作業領域として用い、ROM51並びにHDD53が記憶しているコンピュータプログラム及びデータに従って装置各部の動作を制御し、各種処理を実行する。
HDD53は、出力制御装置5の補助記憶部であり、CPU50によって、各種のコンピュータプログラム又はデータが読み書きされる。なお、出力制御装置5は、HDD53に限定されず、SSDを備える構成でもよい。
HDD53の記憶領域の一部には、本発明の実施の形態におけるコンピュータプログラム5pが記憶されている。
コンピュータプログラム5pは、可搬性を有する記録媒体に記憶されて配布されるか、又は、通信回線を介して配信されて、出力制御装置5にインストールされる。或いは、コンピュータプログラム5pは、出力制御装置5の製造時に出力制御装置5にインストールされる。
なお、コンピュータプログラム5pは、出力制御装置5にインストールされてから実行される構成に限定されず、可搬性を有する記録媒体又は配信元から読み取られて直接的に実行されてもよい。
HDD53の記憶領域の他の一部には、出力制御装置5に入力された図示しない撮像画像が、撮像画像の順序を示す情報(例えば撮像画像の撮像時刻)と関連付けて記憶されている。
HDD53の記憶領域の更に他の一部には、コンテンツテーブル5aが予め記憶されている。なお、コンテンツテーブル5aは、コンテンツテーブル5aの記録内容をCPU50が自在に読み出せるのであれば、例えば記憶装置4に記憶されている構成でもよい。
図3は、HDD53に記憶してあるコンテンツテーブル5aの一例を示す模式図である。
コンテンツテーブル5aには、第1のコンテンツC11〜C14の出力順と、第1のコンテンツC11〜C14及び第2のコンテンツC21〜C24夫々の識別情報(例えばコンテンツのデータファイルのファイル名)とが、関連付けて記憶されている。
出力制御装置5は、コンテンツテーブル5aを参照しながら、コンテンツ出力装置3によるコンテンツの切り替え出力を制御する。
この結果、視聴者が存在しない場合には、コンテンツ出力装置3は、第1のコンテンツC11、第1のコンテンツC12、第1のコンテンツC13、及び第1のコンテンツC14を、この順に切り替えて出力する。また、第1のコンテンツC14の出力が終了すると、コンテンツ出力装置3は、再び第1のコンテンツC11の出力を開始する。
次に、視聴者が存在する場合について述べる。
第1のコンテンツC11(又は第1のコンテンツC12若しくは第1のコンテンツC14)の出力中に、視聴者が現れた場合には、コンテンツ出力装置3は、第1のコンテンツC11(又は第1のコンテンツC12若しくは第1のコンテンツC14)を、対応する第2のコンテンツC21(又は第2のコンテンツC22若しくは第2のコンテンツC24)に切り替えて出力する。そして、コンテンツ出力装置3は、視聴者が存在する間中、第2のコンテンツC21(又は第2のコンテンツC22若しくは第2のコンテンツC24)を繰り返し出力し続ける。
この後、視聴者がいなくなったとき、コンテンツ出力装置3は、出力中の第2のコンテンツを、出力中の第2のコンテンツに対応する第1のコンテンツの次に出力すべき第1のコンテンツに切り替える。
このため、例えば、第2のコンテンツC21を出力しているコンテンツ出力装置3は、視聴者がいなくなったときに、第2のコンテンツC21の出力を中断して、第1のコンテンツC12の出力を開始する。
なお、視聴者が存在する間中、第2のコンテンツC21が繰り返し出力される構成に限定されず、第2のコンテンツC21が所定回数出力されたら第1のコンテンツC12の出力が開始される構成でもよい。
一方、対応する第2のコンテンツが存在しない第1のコンテンツC13の出力中に、視聴者が現れた場合には、コンテンツ出力装置3は、第1のコンテンツC13の出力を継続する。そして、コンテンツ出力装置3は、視聴者が存在する間中、第1のコンテンツC13を繰り返し出力し続ける。
この後、視聴者がいなくなったとき、コンテンツ出力装置3は、第1のコンテンツC13を最後まで出力し終えてから、第1のコンテンツC14の出力を開始する。
なお、視聴者が存在する間中、第1のコンテンツC13が繰り返し出力される構成に限定されず、第1のコンテンツC13が所定回数出力されたら第1のコンテンツC14の出力が開始される構成でもよい。
以上のように、視聴者の有無に拘らず、出力中の第1のコンテンツは最後まで出力されるが、第2のコンテンツの出力中に視聴者がいなくなると、出力中の第2のコンテンツは中断されて、第1のコンテンツに切り替えられる。何故ならば、視聴者が存在していないのに第2のコンテンツを出力し続けても無益だからである。
なお、視聴者の有無に拘らず、一旦出力が開始された第2のコンテンツが、最後まで出力され続ける構成でもよい。また、対応する第2のコンテンツが存在しない第1のコンテンツの出力中に視聴者がいなくなると、出力中の第1のコンテンツが中断されて、次の第1のコンテンツに切り替えられる構成でもよい。
図4は、コンテンツ出力システム1によるコンテンツの切り替え出力を説明する概念図である。図中の時刻t11,t12,…,t16は、t11<t12<…<t16である。
図4Aは、視聴者が存在しない場合を例示している。
この場合、コンテンツ出力装置3は、時刻t11以降、時刻t12まで、第1のコンテンツC11を出力し、時刻t12以降、時刻t13まで、第1のコンテンツC12を出力し、時刻t13以降、時刻t14まで、第1のコンテンツC13を出力し、時刻t14以降、時刻t15まで、第1のコンテンツC14を出力し、時刻t15以降、時刻t16まで、第1のコンテンツC11を出力する。
図4Bは、t12<t21<t13の時刻t21の時点で視聴者が現れ、t14<t22<t15の時刻t22の時点で視聴者がいなくなった場合を例示している。
この場合、コンテンツ出力装置3は、時刻t12以降、第1のコンテンツC12を出力するが、時刻t21以降、時刻t22まで、第2のコンテンツC22を繰り返し出力し、時刻t22以降、第1のコンテンツC13を出力する。
図4Cは、t13<t31<t14の時刻t31の時点で視聴者が現れ、t14<t32<t15の時刻t32の時点で視聴者がいなくなった場合を例示している。
この場合、コンテンツ出力装置3は、時刻t13以降、時刻t14まで、第1のコンテンツC13を出力し、時刻t14以降、時刻t15まで、再び第1のコンテンツC13を出力し、時刻t15以降、時刻t16まで、第1のコンテンツC14を出力する。
図5及び図6は、出力制御装置5で実行される視聴者認識処理の手順を示すフローチャートである。この視聴者認識処理を実現するためには、例えば、非特許文献1に記載されている人物追跡技術が流用される。
まず、CPU50は、図5に示すように、視聴者の有無を示す視聴者フラグをリセットする(S11)。視聴者フラグがセット(又はリセット)されている場合とは、視聴者が存在する(又は存在しない)ことを意味する。
次に、CPU50は、HDD53に記憶されている撮像画像の内、後述するS13の処理がまだ施されておらず、且つ、最も古いものを1枚選択する(S12)。S12で選択すべき撮像画像がまだHDD53に記憶されていない場合、CPU50は、HDD53に撮像画像が記憶されるまで待機すればよい。
次いで、CPU50は、S12で選択した撮像画像に対し、視聴可能者認識処理を施す(S13)。このために、CPU50は、例えばS12で選択した撮像画像と、予めHDD53に記憶されている基準画像との差分を演算する。ここで、基準画像とは、視聴可能者が存在しない場合に撮像装置2が撮像した撮像画像である。
次に、S13の処理結果に基づき、S12で選択した撮像画像に、視聴可能者が含まれているか否かを判定する(S14)。このために、CPU50は、例えばS13で演算した撮像画像と基準画像との差分が、人物を示す差分であるか否かを判定する。S14の処理を実行するCPU50は、本発明の実施の形態における人物判定手段として機能する。
S12で選択した撮像画像に視聴可能者が含まれていない場合(S14でNO)、CPU50は、処理をS12へ戻す。
S12で選択した撮像画像に視聴可能者が含まれている場合(S14でYES)、CPU50は、S12で選択した撮像画像に含まれている視聴可能者の内、後述するS16以降の処理がまだ施されていない者を一人選択する(S15)。
次に、CPU50は、S15で選択した視聴可能者と、所定位置との離隔距離を演算する(S16)。このために、CPU50は、例えば、撮像画像を構成する画素を走査して、S15で選択した視聴可能者の画像を構成する画素の内、代表的な画素を選出し、選出した画素と、所定画素との間に存在する画素の個数を計数し、計数結果を、所与の距離換算用関数又は距離換算用テーブル等を用いて離隔距離に換算する。S16の処理を実行するCPU50は、本発明の実施の形態における距離演算手段として機能する。
次いで、CPU50は、S16で演算した離隔距離が、所定距離L以下であるか否かを判定する(S17)。S17の処理を実行するCPU50は、本発明の実施の形態における距離判定手段として機能する。
S16で演算した離隔距離が所定距離L以下である場合(S17でYES)、CPU50は、処理を後述するS20へ移す。
S16で演算した離隔距離が所定距離Lを超過している場合(S17でNO)、CPU50は、S15で選択した視聴可能者を、後段の処理の対象外とする(即ち、除外する)ことを決定する(S18)。以下では、S18の処理で除外された視聴可能者を除外者という。
次に、CPU50は、S12で選択した撮像画像に除外者のみが含まれているか否かを判定する(S19)。
S12で選択した撮像画像に除外者のみが含まれている場合(S19でYES)、コンテンツ出力装置3に近い範囲に位置している視聴可能者は存在しないため、CPU50は、処理をS12へ戻す。
S12で選択した撮像画像に、除外者以外(即ち、除外されなかった視聴可能者、又は、まだS16以降の処理が施されていない視聴可能者)が含まれている場合(S19でNO)、CPU50は、処理をS20へ移す。
CPU50は、S12で選択した撮像画像に含まれている視聴可能者が、全員S15で選択されたか否かを判定し(S20)、S12で選択した撮像画像に、まだS15で選択されていない視聴可能者が含まれている場合には(S20でNO)、処理をS15へ戻す。
S12で選択した撮像画像に含まれている視聴可能者が、全員S15で選択済みである場合(S20でYES)、CPU50は、S12で選択した撮像画像に含まれている視聴可能者の内、少なくとも1人が、前回までに実行された後述するS34の処理で視聴者として認定済みであるか否かを判定する(S21)。
認定済みの視聴可能者が少なくとも1人含まれている場合(S21でYES)、CPU50は、処理をS12へ戻す。何故ならば、前回までに実行された後述するS33の処理で視聴者フラグがセットされているため、改めて視聴者フラグをセットしなおす必要がないからである。
視聴者として認定済みの視聴可能者が1人も含まれていない場合(S21でNO)、CPU50は、相前後する3枚の撮像画像全部に、同一の視聴可能者が少なくとも1人含まれているか否かを判定する(S22)。ここで、相前後する3枚の撮像画像とは、今回のS12で選択した撮像画像と、前回のS12で選択した撮像画像及び前々回のS12で選択した撮像画像(即ち、今回のS12で選択した撮像画像の1つ前及び2つ前に撮像された撮像画像)とを意味する。従って、S12の処理を3回以上実行していない場合には、S22におけるCPU50は、自動的にNOと判定する。
相前後する3枚の撮像画像が存在しないか、又は、相前後する3枚の撮像画像の内、少なくとも1枚が同一の視聴可能者を欠いている場合(S22でNO)、視聴可能者の移動速度の変化を演算することができないため、CPU50は、処理をS12へ戻す。
相前後する3枚の撮像画像全部に、同一の視聴可能者が少なくとも1人含まれている場合(S22でYES)、図6に示すように、CPU50は、同一の視聴可能者夫々に対して、視聴可能者の移動速度の変化を演算する(S31)。S31の処理を実行するCPU50は、本発明の実施の形態における変化演算手段として機能する。
S31におけるCPU50は、相前後する3枚の撮像画像の内、相前後する2枚の撮像画像(即ち、今回及び前回のS12で選択した撮像画像、並びに、前回及び前々回のS12で選択した撮像画像)に基づいて、各視聴可能者の移動距離を演算する。次に、CPU50は、演算した移動距離を、撮像装置2による撮像の時間間隔で除算することによって、各視聴可能者の現在の移動速度と過去の移動速度とを演算する。更に、CPU50は、視聴可能者の過去の移動速度から現在の移動速度を減算することによって、各視聴可能者の移動速度の変化を演算する。
S31の処理終了後、CPU50は、少なくとも1人の視聴可能者の移動速度が低下しているか否かを判定する(S32)。ただし、S32におけるCPU50は、S31で演算した移動速度の変化が、移動速度の所定割合以上の低下である場合に、移動速度の低下であると判定する。
具体的には、例えば、過去の移動速度が時速4kmであり、現在の移動速度が時速5km(又は時速4km)である場合、移動速度の減算結果は負値(又は“0”)となる。従って、視聴可能者は加速した(又は等速で移動した)、と看做せる。この場合、CPU50は、S31で演算した移動速度の変化が、移動速度の低下を示していない、と判定する。
また、例えば、過去の移動速度が時速4kmであり、現在の移動速度が時速3km又は時速2km(或いは時速0km)である場合、移動速度の減算結果は正値となる。従って、視聴可能者は減速した(或いは停止した)、と看做せる。
移動速度の減算結果が正値である場合、CPU50は、視聴可能者の減速率を求める。減速率は、移動速度の減算結果を過去の移動速度で除算した百分率である。
この例における減速率は、25%(={4−3}/4×100)、50%(={4−2}/4×100)、又は100%(={4−0}/4×100)である。
判定基準である所定割合が50%ならば、過去の移動速度が時速4kmであり、現在の移動速度が時速2km又は時速0km(或いは時速3km)である場合、CPU50は、S31で演算した移動速度の変化が、移動速度の低下を示している(或いは移動速度の低下を示していない)、と判定する。
S32の処理を実行するCPU50は、本発明の実施の形態における速度判定手段として機能する。
視聴可能者の移動速度が低下していない場合(S32でNO)、視聴者は存在していない。このため、CPU50は、処理をS11へ戻す。この結果、視聴者フラグがリセットされる。
一方、少なくとも1人の視聴可能者の移動速度が低下している場合(S32でYES)、視聴者は存在している。このため、CPU50は視聴者フラグをセットし(S33)、移動速度が低下している視聴可能者を、視聴者として認定してから(S34)、処理をS12へ戻す。
図7及び図8は、出力制御装置5で実行される出力制御処理の手順を示すフローチャートである。この出力制御処理は、図5及び図6に示す視聴者認識処理の実行と並行して、且つ、S11の処理が最初に実行された後で、実行される。出力制御処理を実行するCPU50は、本発明の実施の形態における出力制御手段として機能する。
図7に示すように、まず、CPU50は、コンテンツテーブル5aを参照し(S51)、コンテンツ出力装置3に出力させるべき第1のコンテンツを選択する(S52)。コンテンツ出力装置3が、まだ何のコンテンツも出力していないのであれば、S52で選択すべき第1のコンテンツは、第1のコンテンツC11である。一方、コンテンツ出力装置3が、例えば第1のコンテンツC11(又は第1のコンテンツS14)を出力している最中であれば、S52で選択すべき第1のコンテンツは、第1のコンテンツC12(又は第1のコンテンツC11)である。
S52の処理終了後、CPU50は、S52で選択した第1のコンテンツを記憶装置4に要求する(S53)。このとき、記憶装置4は、要求された第1のコンテンツを出力制御装置5に与える。
次に、CPU50は、S52で選択した第1のコンテンツの出力を開始すべきタイミングであるか否かを判定する(S54)。コンテンツ出力装置3が、まだ何のコンテンツも出力していない場合、S54におけるCPU50は、即座にYESと判定する。一方、コンテンツ出力装置3が、例えば第1のコンテンツを出力している最中である場合、S54におけるCPU50は、出力中の第1のコンテンツの出力が終了するタイミングでYESと判定する。
S52で選択した第1のコンテンツの出力を開始すべきタイミングである場合(S54でYES)、CPU50は、S52で選択した第1のコンテンツをコンテンツ出力装置3に出力させる(S55)。このとき、CPU50は、S53の処理の結果として記憶装置4から取得した第1のコンテンツのデータを、コンテンツ出力装置3に与える。
そして、CPU50は、S55で実行した第1のコンテンツの出力制御を継続しつつ、処理をS51へ戻す。
S51〜S55の処理が繰り返されることによって、コンテンツ出力装置3は、第1のコンテンツC11〜C14を順次切り替えて出力する。
S52で選択した第1のコンテンツの出力を開始すべきタイミングではない場合(S54でNO)、CPU50は、視聴者フラグがセットされているか否かを判定し(S56)、視聴者フラグがリセットされている場合には(S56でNO)、処理をS54へ戻す。
視聴者フラグがセットされている場合(S56でYES)、CPU50は、コンテンツテーブル5aを参照し(S57)、コンテンツ出力装置3が現在出力中の第1のコンテンツに対応する第2のコンテンツが存在するか否かを判定する(S58)。コンテンツ出力装置3が、第1のコンテンツC13(又は第1のコンテンツC13以外の第1のコンテンツ)を出力している最中であれば、S58におけるCPU50は、NO(又はYES)と判定する。
現在出力中の第1のコンテンツに対応する第2のコンテンツが存在しない場合(S58でNO)、CPU50は、現在出力中の第1のコンテンツ(具体的には第1のコンテンツC13)の再出力を開始すべきタイミングであるか否かを判定する(S59)。S54におけるCPU50は、現在出力中の第1のコンテンツの出力が終了するタイミングでYESと判定する。
第1のコンテンツの再出力を開始すべきタイミングである場合(S59でYES)、CPU50は、出力中であった第1のコンテンツをコンテンツ出力装置3に再出力させる(S60)。
そして、CPU50は、S60で実行した第1のコンテンツの再出力制御を継続しつつ、処理をS59へ戻す。
S59及びS60の処理が繰り返されることによって、コンテンツ出力装置3は、同一の第1のコンテンツを繰り返し出力する。
第1のコンテンツの再出力を開始すべきタイミングではない場合(S59でNO)、CPU50は、視聴者フラグがリセットされているか否かを判定し(S61)、視聴者フラグがセットされている場合には(S61でNO)、処理をS59へ戻す。
視聴者フラグがリセットされている場合(S61でYES)、CPU50は、処理をS51へ戻す。この後、S52の処理で、現在出力中の第1のコンテンツの次の第1のコンテンツ(具体的には第1のコンテンツC14)が選択される。
現在出力中の第1のコンテンツに対応する第2のコンテンツが存在する場合(S58でYES)、図8に示すように、CPU50は、対応する第2のコンテンツを記憶装置4に要求する(S71)。このとき、記憶装置4は、要求された第2のコンテンツを出力制御装置5に与える。
次に、CPU50は、コンテンツ出力装置3に、現在出力中の第1のコンテンツの出力を中断させ(S72)、更に、対応する第2のコンテンツをコンテンツ出力装置3に出力させる(S73)。このとき、CPU50は、S71の処理の結果として記憶装置4から取得した第2のコンテンツのデータを、コンテンツ出力装置3に与える。
そして、CPU50は、S73で実行した第2のコンテンツの出力制御を継続しつつ、処理をS74へ移す。
S72及びS73の処理が実行されることによって、コンテンツ出力装置3は、第1のコンテンツに替えて第2のコンテンツを出力する。
CPU50は、視聴者フラグがリセットされているか否かを判定し(S74)、視聴者フラグがセットされている場合には(S74でNO)、現在出力中の第2のコンテンツの再出力を開始すべきタイミングであるか否かを判定する(S75)。S75におけるCPU50は、現在出力中の第2のコンテンツの出力が終了するタイミングでYESと判定する。
第2のコンテンツの再出力を開始すべきタイミングである場合(S75でYES)、CPU50は、出力中であった第2のコンテンツをコンテンツ出力装置3に再出力させる(S76)。
そして、CPU50は、S76で実行した第2のコンテンツの再出力制御を継続しつつ、処理をS74へ戻す。
S75及びS76の処理が繰り返されることによって、コンテンツ出力装置3は、同一の第2のコンテンツを繰り返し出力する。
第2のコンテンツの再出力を開始すべきタイミングではない場合(S75でNO)、CPU50は、処理をS74へ戻す。
視聴者フラグがリセットされている場合(S74でYES)、CPU50は、コンテンツテーブル5aを参照し(S77)、コンテンツ出力装置3に出力させるべき第1のコンテンツを選択する(S78)。S78で選択すべき第1のコンテンツは、現在出力中の第2のコンテンツに対応する第1のコンテンツの次の第1のコンテンツである。
次いで、CPU50は、S78で選択した第1のコンテンツを記憶装置4に要求する(S79)。このとき、記憶装置4は、要求された第1のコンテンツを出力制御装置5に与える。
次に、CPU50は、コンテンツ出力装置3に、現在出力中の第2のコンテンツの出力を中断させ(S80)、更に、S78で選択した第1のコンテンツをコンテンツ出力装置3に出力させる(S81)。このとき、CPU50は、S79の処理の結果として記憶装置4から取得した第1のコンテンツのデータを、コンテンツ出力装置3に与える。
そして、CPU50は、S81で実行した第1のコンテンツの出力制御を継続しつつ、処理をS51へ戻す。
S80及びS81の処理が実行されることによって、コンテンツ出力装置3は、第2のコンテンツに替えて第1のコンテンツを出力する。
以上のようなコンテンツ出力システム1は、演算負荷を増大させることなく、視聴者が存在するか否かを正確に判定し、更に、視聴者が存在するか否かに応じて、視聴者、又はコンテンツに注目していない視聴可能者に対し、適切なコンテンツを提供することができる。
実施の形態 2.
図9は、本発明の実施の形態2に係るコンテンツ出力システム1の構成を示すブロック図である。
コンテンツ出力システム1は、撮像装置2、コンテンツ出力装置3、記憶装置4、及び出力制御装置6を備えている。
実施の形態1の出力制御装置5は、本発明の実施の形態の出力制御方法をソフト的に実現するが、本実施の形態の出力制御装置6は、本発明の実施の形態の出力制御方法をハード的に実現する。
その他、実施の形態1に対応する部分には同一符号を付してそれらの説明を省略する。
出力制御装置6は、コンテンツ出力システム1を構成する専用機であり、CPU60、ROM61、RAM62、HDD63、視聴判定部64、顔認識処理部65、通信部66、視聴可能者認識部67、移動速度演算部68、切替判定部69、コンテンツ切替リスナ70、及びコンテンツスケジューラ71を備えている。
CPU60は、出力制御装置6の制御中枢であり、RAM62を作業領域として用い、ROM61並びにHDD63が記憶しているコンピュータプログラム及びデータに従って装置各部の動作を制御し、各種処理を実行する。
HDD63は、出力制御装置6の補助記憶部であり、CPU60によって、各種のコンピュータプログラム又はデータが読み書きされる。なお、出力制御装置6は、HDD63に限定されず、SSDを備える構成でもよい。
HDD63の記憶領域の一部には、視聴記録DB6aが記憶されている。
図10は、視聴記録DB6aの一例を示す模式図である。
視聴記録DB6aには、第1のコンテンツC11〜C14夫々の識別情報と、コンテンツ出力装置3による各第1のコンテンツC11〜C14の出力中に視聴者であると認定された視聴者数N1〜N4と、視聴者の顔画像I11,I12,…〜I41,I42,…とが、関連付けて保存されている。
なお、顔画像I11,I12,…〜I41,I42,…に替えて、又は顔画像I11,I12,…〜I41,I42,…と共に、顔画像I11,I12,…〜I41,I42,…夫々に基づいて演算された視聴者の特徴(性別又は年齢層等)が視聴記録DB6aに保存される構成でもよい。
視聴者数及び視聴者の顔画像(又は視聴者の特徴)は、本実施の形態における視聴情報として機能する。
撮像装置2が撮像した撮像画像は、時系列的に視聴可能者認識部67に与えられる。
視聴可能者認識部67は、与えられた撮像画像に対して、非特許文献1に記載されている人物追跡技術による視聴可能者追跡処理を施す。視聴可能者認識部67は複数の視聴可能者を認識し、認識した視聴可能者夫々を追跡する。このような視聴可能者認識部67は、本発明の実施の形態における人物判定手段として機能する。
移動速度演算部68は、視聴可能者認識部67が認識した視聴可能者夫々の移動速度を演算する。
切替判定部69は、移動速度演算部68が演算した移動速度に基づいて、視聴可能者夫々の減速率を演算し、演算された減速率と、視聴可能者の所定位置からの離隔距離とに基づいて、コンテンツを切り替えるか否かを判定する。このような切替判定部69は、本発明の実施の形態における変化演算手段、速度判定手段、距離演算手段、及び距離判定手段として機能する。
コンテンツ切替リスナ70は、切替判定部69の判定結果に基づいて、第1のコンテンツから第2のコンテンツへの切り替え(以下では、第1〜第2の切り替えという)、又は第2のコンテンツから第1のコンテンツへの切り替え(以下では、第2〜第1の切り替えという)をコンテンツスケジューラ71に要求する。
ここで、第1〜第2の切り替えは、視聴者が現れた場合に要求される。第2〜第1の切り替えは、視聴者がいなくなった場合に要求される。
コンテンツスケジューラ71には、予め編集されたコンテンツスケジュール7aが格納されている。
コンテンツスケジューラ71は、通常、コンテンツスケジュール7aに従って第1のコンテンツC11〜C14を記憶装置4から取得し、第1のコンテンツC11〜C14を順に切り替えて、コンテンツ出力装置3に出力させる。
コンテンツ切替リスナ70から第1〜第2の切り替えを要求された場合、コンテンツスケジューラ71は、現在出力中の第1のコンテンツに対応する第2のコンテンツの有無を、記憶装置4をクエリして確認する。
対応する第2のコンテンツが存在する場合、コンテンツスケジューラ71は、現在出力中の第1のコンテンツに替えて、第2のコンテンツを、コンテンツ出力装置3に出力させる。
対応する第2のコンテンツが存在しない場合、コンテンツスケジューラ71は、コンテンツ切替リスナ70から第2〜第1の切り替えを要求されるまで、即ち視聴者が存在する間中、コンテンツ出力装置3に、現在出力中の第1のコンテンツを繰り返し出力させる。
第2のコンテンツの出力中に、コンテンツ切替リスナ70から第2〜第1の切り替えを要求された場合、コンテンツスケジューラ71は、現在出力中の第2のコンテンツに替えて、第1のコンテンツを、コンテンツ出力装置3に出力させる。この後、コンテンツスケジューラ71は、通常通り、コンテンツスケジュール7aに従って、第1のコンテンツC11〜C14を順に切り替えて、コンテンツ出力装置3に出力させる。
対応する第2のコンテンツが存在しない第1のコンテンツの出力中に、コンテンツ切替リスナ70から第2〜第1の切り替えを要求された場合、コンテンツスケジューラ71は、通常通り、コンテンツスケジュール7aに従って、第1のコンテンツC11〜C14を順に切り替えて、コンテンツ出力装置3に出力させる。
以上のようなコンテンツスケジューラ71は、本実施の形態における出力制御手段として機能する。
視聴判定部64は、移動速度演算部68が演算した移動速度に基づいて、視聴可能者夫々の減速率を演算し、演算された減速率と、視聴可能者の所定位置からの離隔距離とに基づいて、各視聴可能者が視聴者であるか否かを判定し、視聴者であると判定された人数を、視聴者が現れたときに出力されていた第1のコンテンツに関連付けて、視聴記録DB6aに保存する。このような視聴判定部64は、本実施の形態における変化演算手段、速度判定手段、距離演算手段、距離判定手段、及び記録手段として機能する。
顔認識処理部65は、撮像画像の内、視聴判定部64が視聴者であると判定した視聴可能者が含まれている領域に対して、公知の顔認識処理を施す。次いで、顔認識処理部65は、認識処理結果である視聴者の顔画像を、視聴者が現れたときに出力されていた第1のコンテンツに関連付けて、視聴記録DB6aに保存する。このような顔認識処理部65は、本実施の形態における顔認識手段及び記録手段として機能する。
なお、記録手段及び/又は顔認識手段は、ソフト的に実現される構成でもよい。
以上のようなコンテンツ出力システム1は、実施の形態1のコンテンツ出力システム1と同様の効果を奏することができる。しかも、視聴者の顔画像を得るために、撮像画像全体に顔認識処理を施す必要がない。従って、一般的に煩雑な顔認識処理を実行しつつも、演算負荷を軽減することができる。
また、視聴記録DB6aに保存されたデータを、第1のコンテンツC11〜C14夫々の広告効果を評価する場合に利用することができる。例えば、視聴者数N1〜N4と、通行人の総人数とに基づいて、第1のコンテンツC11〜C14夫々の視聴率を簡易的に求めることができる。
このために、視聴記録DB6aに保存されたデータは、通信部66によって、コンテンツ出力システム1の管理者が所有する通信装置へ、適宜のタイミングで送信される。
なお、実施の形態1,2において、コンテンツ出力システム1に、第2のコンテンツが存在しない構成でもよい。この場合、視聴者が存在する間、第1のコンテンツが繰り返し出力される。
また、実施の形態2において、出力制御装置6が切替判定部69及びコンテンツ切替リスナ70を備えていない構成でもよい。この場合、視聴者の有無に拘らず、コンテンツスケジュール7aに従って、第1のコンテンツC11〜C14が順次切り替えて出力される。ただし、このときも視聴記録DB6aにおける視聴者数及び視聴者の顔画像の保存は実行される。
今回開示された実施の形態は、全ての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上述した意味ではなく、特許請求の範囲と均等の意味及び特許請求の範囲内での全ての変更が含まれることが意図される。
また、本発明の効果がある限りにおいて、コンテンツ出力システム1及び/又は出力制御装置5,6に、実施の形態1,2に開示されていない構成要素が含まれていてもよい。
1 コンテンツ出力システム
2 撮像装置
3 コンテンツ出力装置
4 記憶装置
5,6 出力制御装置
50 CPU(人物判定手段,変化演算手段,出力制御手段,速度判定手段,,距離演算手段,距離判定手段)
5p コンピュータプログラム
64 視聴判定部(変化演算手段,速度判定手段,距離演算手段,距離判定手段,記録手段)
65 顔認識処理部(顔認識手段,記録手段)
67 視聴可能者認識部(人物判定手段)
69 切替判定部(変化演算手段,速度判定手段,距離演算手段,距離判定手段)
71 コンテンツスケジューラ(出力制御手段)

Claims (7)

  1. 撮像装置と、
    複数のコンテンツを記憶している記憶装置と、
    該記憶装置が記憶しているコンテンツを出力するコンテンツ出力装置と、
    前記撮像装置が撮像した画像が時系列的に入力され、入力された画像に基づいて、前記コンテンツ出力装置による前記コンテンツの切り替え出力を制御する出力制御装置と
    を備えるコンテンツ出力システムであって、
    前記出力制御装置は、
    前記画像に基づいて、該画像に人物が含まれているか否かを判定する人物判定手段と、
    該人物判定手段が、前記画像に人物が含まれていると判定した場合、所定位置から前記画像に含まれている人物までの距離を演算する距離演算手段と、
    該距離演算手段の演算結果が、所定距離以下であるか否かを判定する距離判定手段と、
    該距離判定手段が、前記距離演算手段の演算結果が所定距離以下であると判定した前記人物の移動速度の変化を演算する変化演算手段と、
    該変化演算手段の演算結果、並びに前記人物判定手段及び距離判定手段夫々の判定結果に応じたコンテンツを、前記記憶装置が記憶しているコンテンツの内から選択して前記コンテンツ出力装置に出力させる出力制御手段と、
    前記変化演算手段の演算結果が移動速度の低下を示した前記人物が存在する場合に、該人物によるコンテンツの視聴に関する視聴情報を記録する記録手段と
    を備えることを特徴とするコンテンツ出力システム。
  2. 画像が時系列的に入力され、
    入力された画像に基づいて、外部での複数のコンテンツの切り替え出力を制御する出力制御装置であって、
    前記画像に基づいて、該画像に人物が含まれているか否かを判定する人物判定手段と、
    該人物判定手段が、前記画像に人物が含まれていると判定した場合、所定位置から前記画像に含まれている人物までの距離を演算する距離演算手段と、
    該距離演算手段の演算結果が、所定距離以下であるか否かを判定する距離判定手段と、
    該距離判定手段が、前記距離演算手段の演算結果が所定距離以下であると判定した前記人物の移動速度の変化を演算する変化演算手段と、
    該変化演算手段の演算結果、並びに前記人物判定手段及び距離判定手段夫々の判定結果に応じたコンテンツを選択して出力させる出力制御手段と、
    前記変化演算手段の演算結果が移動速度の低下を示した前記人物が存在する場合に、該人物によるコンテンツの視聴に関する視聴情報を記録する記録手段と
    を備えることを特徴とする出力制御装置。
  3. 前記変化演算手段の演算結果が、移動速度の低下を示しているか否かを判定する速度判定手段を更に備え、
    前記出力制御手段は、
    前記人物判定手段又は前記速度判定手段が、否と判定した場合に、第1のコンテンツを出力させる手段と、
    少なくとも1人の前記人物に関して、前記速度判定手段が、前記変化演算手段の演算結果が移動速度の低下を示していると判定した場合に、前記第1のコンテンツに替えて該第1のコンテンツとは異なる第2のコンテンツを出力させる手段と
    を有することを特徴とする請求項2に記載の出力制御装置。
  4. 前記速度判定手段は、前記変化演算手段の演算結果が、移動速度の所定割合以上の低下である場合に、前記変化演算手段の演算結果が移動速度の低下であると判定するようにしてあることを特徴とする請求項3に記載の出力制御装置。
  5. 前記画像に基づいて、前記変化演算手段の演算結果が移動速度の低下を示した前記人物の顔を認識する顔認識手段を更に備え、
    前記記録手段は、記録すべき視聴情報に、前記顔認識手段による認識結果に基づく情報を含むようにしてあることを特徴とする請求項2からの何れかひとつに記載の出力制御装置。
  6. 画像が時系列的に入力される出力制御装置が、入力された画像に基づいて、外部での複数のコンテンツの切り替え出力を制御する出力制御方法であって、
    前記画像に人物が含まれている場合、前記画像に含まれている人物の内、所定位置から前記人物までの距離が所定距離以下である人物の移動速度の変化を演算し、
    該変化の演算結果、並びに前記画像に人物が含まれているか否か、及び前記画像に前記所定位置からの距離が前記所定距離以下である人物が含まれているか否かに応じたコンテンツを選択して出力させ、
    前記変化の演算結果が移動速度の低下を示した前記人物が存在する場合に、該人物によるコンテンツの視聴に関する視聴情報を記録することを特徴とする出力制御方法。
  7. 画像が時系列的に入力されるコンピュータに、入力された画像に基づいて、外部での複数のコンテンツの切り替え出力を制御させるためのコンピュータプログラムであって、
    コンピュータに、前記画像に基づいて、該画像に人物が含まれているか否かを判定させる人物判定ステップと、
    コンピュータに、前記人物判定ステップで、前記画像に人物が含まれていると判定された場合、所定位置から前記画像に含まれている人物までの距離を演算させる距離演算ステップと、
    コンピュータに、前記距離演算ステップでの演算結果が、所定距離以下であるか否かを判定させる距離判定ステップと、
    コンピュータに、前記距離判定ステップにて、前記距離演算ステップでの演算結果が所定距離以下であると判定された前記人物の移動速度の変化を演算させる変化演算ステップと、
    コンピュータに、前記変化演算ステップでの演算結果、並びに前記人物判定ステップ及び距離判定ステップ夫々での判定結果に応じたコンテンツを選択して出力させる出力制御ステップと、
    コンピュータに、前記変化演算ステップでの演算結果が移動速度の低下を示した前記人物が存在する場合に、該人物によるコンテンツの視聴に関する視聴情報を記録させる記録ステップと
    を実行させることを特徴とするコンピュータプログラム。
JP2010201251A 2010-09-08 2010-09-08 コンテンツ出力システム、出力制御装置、出力制御方法、及びコンピュータプログラム Active JP5345113B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2010201251A JP5345113B2 (ja) 2010-09-08 2010-09-08 コンテンツ出力システム、出力制御装置、出力制御方法、及びコンピュータプログラム
CN201110270223.6A CN102402927B (zh) 2010-09-08 2011-09-06 存储信息输出系统、输出控制装置以及输出控制方法
US13/226,544 US8976109B2 (en) 2010-09-08 2011-09-07 Content output system, output control device and output control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010201251A JP5345113B2 (ja) 2010-09-08 2010-09-08 コンテンツ出力システム、出力制御装置、出力制御方法、及びコンピュータプログラム

Publications (2)

Publication Number Publication Date
JP2012058476A JP2012058476A (ja) 2012-03-22
JP5345113B2 true JP5345113B2 (ja) 2013-11-20

Family

ID=45770323

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010201251A Active JP5345113B2 (ja) 2010-09-08 2010-09-08 コンテンツ出力システム、出力制御装置、出力制御方法、及びコンピュータプログラム

Country Status (3)

Country Link
US (1) US8976109B2 (ja)
JP (1) JP5345113B2 (ja)
CN (1) CN102402927B (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5635559B2 (ja) * 2012-05-28 2014-12-03 ヤフー株式会社 表示装置、表示方法及び表示プログラム
CN103473511B (zh) * 2012-06-06 2016-08-24 华为技术有限公司 媒体播放方法及设备
JP5439549B2 (ja) * 2012-07-09 2014-03-12 株式会社東芝 情報処理装置、情報処理システム、サービス提供システムおよび情報処理方法
JP2017037159A (ja) * 2015-08-10 2017-02-16 キヤノン株式会社 画像表示装置、画像表示方法、及びプログラム
JP2018032174A (ja) * 2016-08-23 2018-03-01 富士ゼロックス株式会社 情報処理装置及びプログラム
CN108985228A (zh) 2018-07-16 2018-12-11 百度在线网络技术(北京)有限公司 应用于终端设备的信息生成方法和装置
JP2020166523A (ja) * 2019-03-29 2020-10-08 株式会社ネクスウェイ 興味度情報取得システム、情報処理装置、及び情報処理プログラム
JP7371307B2 (ja) * 2020-06-08 2023-10-31 株式会社三鷹ホールディングス ポイントサイネージ効果指標化システム、ポイントサイネージ装置、並びにポイントサイネージ装置組込収容具

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2395852B (en) * 2002-11-29 2006-04-19 Sony Uk Ltd Media handling system
JP2005049656A (ja) * 2003-07-29 2005-02-24 Nec Plasma Display Corp 表示システムおよび位置推測システム
JP4110323B2 (ja) * 2003-11-27 2008-07-02 日本電信電話株式会社 情報出力方法及び装置及びプログラム及び情報出力プログラムを格納したコンピュータ読み取り可能な記憶媒体
JP2006235311A (ja) * 2005-02-25 2006-09-07 Seiko Epson Corp 情報出力システム、情報出力装置、情報出力方法、情報出力プログラム、および記録媒体
US8254626B2 (en) * 2006-12-22 2012-08-28 Fujifilm Corporation Output apparatus, output method and program for outputting a moving image including a synthesized image by superimposing images
JP2008197266A (ja) * 2007-02-09 2008-08-28 Sharp Corp 再生装置、再生システム、再生方法及びコンピュータプログラム
CN101470883A (zh) * 2007-12-26 2009-07-01 联想(北京)有限公司 广告播放方法和广告播放设备
JP2009276561A (ja) * 2008-05-14 2009-11-26 Sanyo Electric Co Ltd 投写型映像表示装置及び映像表示システム
JP5271612B2 (ja) * 2008-06-16 2013-08-21 日本電信電話株式会社 情報提示システム、情報提示方法、情報提示プログラムとその記憶媒体
WO2010035491A1 (ja) * 2008-09-29 2010-04-01 パナソニック株式会社 ユーザインターフェース装置、ユーザインターフェース方法、及び記録媒体
JP5396062B2 (ja) * 2008-10-27 2014-01-22 株式会社ブイシンク 電子広告システム
JP2010185962A (ja) * 2009-02-10 2010-08-26 Sharp Corp 情報表示装置及び情報表示方法
CN201383313Y (zh) * 2009-02-19 2010-01-13 李赛 互动广告牌以及网络式互动广告系统
TW201033908A (en) * 2009-03-12 2010-09-16 Micro Star Int Co Ltd System and method for counting people flow
CN101853623A (zh) * 2009-04-03 2010-10-06 鸿富锦精密工业(深圳)有限公司 影像监控系统及具有该系统的资讯显示系统
JP2011008571A (ja) 2009-06-26 2011-01-13 Shunkosha:Kk 通行人流動データ生成装置、コンテンツ配信制御装置、通行人流動データ生成方法及びコンテンツ配信制御方法
CN102081890A (zh) * 2009-11-30 2011-06-01 鸿富锦精密工业(深圳)有限公司 资讯控制装置、方法及具有该资讯控制装置的资讯显示系统
JP2011248548A (ja) * 2010-05-25 2011-12-08 Fujitsu Ltd コンテンツ決定プログラムおよびコンテンツ決定装置

Also Published As

Publication number Publication date
US8976109B2 (en) 2015-03-10
CN102402927A (zh) 2012-04-04
CN102402927B (zh) 2014-09-03
JP2012058476A (ja) 2012-03-22
US20120056803A1 (en) 2012-03-08

Similar Documents

Publication Publication Date Title
JP5345113B2 (ja) コンテンツ出力システム、出力制御装置、出力制御方法、及びコンピュータプログラム
JP7277569B2 (ja) 検出されたジェスチャおよび凝視に基づく自動化アシスタントの機能の呼び出し
WO2021190078A1 (zh) 短视频的生成方法、装置、相关设备及介质
US9007524B2 (en) Techniques and apparatus for audio isolation in video processing
CN100462971C (zh) 信息提供装置和信息提供方法
US10684754B2 (en) Method of providing visual sound image and electronic device implementing the same
US8381238B2 (en) Information processing apparatus, information processing method, and program
JP5917270B2 (ja) 音検出装置及びその制御方法、プログラム
JP2014106637A (ja) 情報処理装置および方法、並びにプログラム
CN101444092A (zh) 视频播放装置,视频播放方法,以及视频播放程序
JP2023506341A (ja) 音声コマンド推奨を提供するためのシステムおよび方法
JP2017144521A (ja) 情報処理装置、情報処理方法、及びプログラム
JP2023522092A (ja) インタラクション記録生成方法、装置、デバイス及び媒体
US8868419B2 (en) Generalizing text content summary from speech content
US20120242860A1 (en) Arrangement and method relating to audio recognition
US9779093B2 (en) Spatial seeking in media files
KR20110095113A (ko) 음장인식 디지털 비디오 레코더 시스템 및 그것의 운용 방법
CN116070020A (zh) 基于知识图谱的食材推荐方法、设备及存储介质
CN111416996A (zh) 多媒体文件检测方法、播放方法、装置、设备及存储介质
WO2021218680A1 (zh) 互动信息处理方法、装置、电子设备及存储介质
JP2018206292A (ja) 要約映像生成装置及びプログラム
US10219076B2 (en) Audio signal processing device, audio signal processing method, and storage medium
JP4110323B2 (ja) 情報出力方法及び装置及びプログラム及び情報出力プログラムを格納したコンピュータ読み取り可能な記憶媒体
CN114222147B (zh) 直播布局调整方法、装置、存储介质及计算机设备
WO2020200081A1 (zh) 一种直播控制方法、装置、直播设备及存储介质

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120705

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120710

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120823

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130521

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130703

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130723

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130813

R150 Certificate of patent or registration of utility model

Ref document number: 5345113

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150