JP6679368B2 - 表情記録システム - Google Patents

Description

本発明は、ベビーカーの乗車者の特定の表情を記録する表情記録システムに関する。

従来から、乳幼児を連れて外出するときにベビーカーが用いられている。従来のベビーカーでは、シートに着座した乳幼児が少しでも快適に過ごすことができるように、種々の工夫がなされている。例えば、乳幼児が着座するシートをクッション性に優れた部材によって形成することによって、乗り心地の向上が図られている（特許文献１参照）。

また従来、ベビーカーを乳幼児にとって積極的に乗りたいと思える乗り物にするというアプローチから、ベビーカーに乗りながら映像や音楽といったコンテンツを楽しむことができるベビーカーも提案されている（特許文献２参照）。

特開２００４−２１６９９８号公報 特開２００８−３０８０５３号公報

上記従来のベビーカーでは、快適な乗り心地が得られたり、映像や音楽といったコンテンツを楽しむことができるため、ベビーカーに乗っている乳幼児は、ベビーカーでの外出を楽しむことができ、笑顔になる機会が増える。しかしながら、ベビーカーでの外出中にそのベビーカーに乗っている乳幼児の笑顔を記録に残すためのシステムは、これまでに提案されておらず、開発の余地があった。

本発明は、上記の課題に鑑みてなされたもので、ベビーカーでの外出中にそのベビーカーに乗っている乳幼児の特定の表情を記録することのできる表情記録システムを提供することを目的とする。

本発明の表情記録システムは、ベビーカーに取り付けられ、前記ベビーカーの乗車者のカメラ画像を撮影可能なカメラと、前記ベビーカーの利用者によって所持され、前記カメラと通信可能な端末装置と、を備え、前記端末装置は、前記カメラで撮影された前記カメラ画像が入力されるデータ入力部と、前記カメラ画像から、前記ベビーカーの乗車者の特定の表情を検出する表情検出部と、前記特定の表情が検出されたときに、前記カメラに対して前記ベビーカーの周囲のカメラ画像を撮影する周囲撮影要求を送る周囲撮影要求部と、を備えている。

この構成により、ベビーカーでの外出中に乗車者（例えば乳幼児など）のカメラ画像を撮影することができる。そして例えば、ある地点を通過したときにベビーカーの乗車者が特定の表情になると、その地点におけるベビーカーの周囲のカメラ画像が撮影される。これにより、ベビーカーの乗車者の特定の表情のカメラ画像とともに、その乗車者が特定の表情になった要因（その乗車者のお気に入りの対象物など）を含んだベビーカーの周囲のカメラ画像を得ることができる。

また、本発明の表情記録システムでは、前記端末装置は、前記特定の表情が検出されたときの前記乗車者のカメラ画像と当該特定の表情が検出されたときの前記周囲のカメラ画像とを、同一画面上に表示する表示処理部を備えてもよい。

この構成により、ベビーカーの乗車者（例えば乳幼児など）の特定の表情とその乗車者が特定の表情になった要因（その乗車者のお気に入りの対象物など）との対応を、同一画面上で容易に把握することができる。

また、本発明の表情記録システムでは、前記端末装置は、前記特定の表情が検出されている間は、前記カメラに対して前記ベビーカーの乗車者のカメラ画像を継続して撮影する継続撮影要求を送る継続撮影要求部と、継続して撮影された前記乗車者のカメラ画像の中から特定の表情の度合いが所定値以上のカメラ画像を選択する画像選択部と、備えてもよい。

この構成により、ベビーカーの乗車者（例えば乳幼児など）が特定の表情になっている間、継続して乗車者のカメラ画像（特定の表情のカメラ画像）を撮影しつづけて、その中から特定の表情の度合いの高いカメラ画像が自動的に選択される。これにより、特徴的な表情のカメラ画像を得ることができる。

また、本発明の表情記録システムでは、前記端末装置は、前記カメラ画像から、前記ベビーカーの乗車者の感情を分析する感情分析部と、分析結果として得られた前記ベビーカーの乗車者の感情に応じて映像または音楽を再生する再生処理部と、を備えてもよい。

この構成により、ベビーカーの乗車者（例えば乳幼児など）のカメラ画像からその乗車者の感情が分析され、その感情に応じた映像や音楽が自動的に再生される。これにより、ベビーカーでの外出中に乗車者の感情にあった映像や音楽を演出することができる。

また、本発明の表情記録システムでは、前記端末装置は、前記カメラから、前記ベビーカーの位置情報を取得する位置情報取得部と、前記特定の表情が検出されたときの前記ベビーカーの位置を表情検出位置として記録する記録処理部と、前記ベビーカーが前記表情検出位置に接近すると前記ベビーカーの利用者に通知を行う通知処理部と、を備えてもよい。

この構成により、ベビーカーの乗車者（例えば乳幼児など）が特定の表情になった位置（表情検出位置）が記録され、次にその地点に接近すると利用者に通知がされる。これにより、ベビーカーの利用者は、ベビーカーの乗車者が特定の表情になる地点（乗車者のお気に入りの地点）を把握することができ、ベビーカーでの外出中にその地点に近づいたときにそのことを知ることができる。

また、本発明の表情記録システムでは、前記端末装置は、前記カメラから、前記ベビーカーの向き情報を取得する向き情報取得部と、前記特定の表情が検出されたときの前記ベビーカーの向きを、前記乗車者の視線方向として検出する視線方向検出処理部と、を備えてもよい。

この構成により、ベビーカーの乗車者（例えば乳幼児など）が特定の表情になったときに、その乗車者の視線方向（見ていた方向）を知ることができる。これにより、その乗車者のお気に入りの対象物を特定することが可能になる。

本発明のベビーカーは、乗車者のカメラ画像を撮影可能なカメラを備えるベビーカーであって、前記カメラは、前記ベビーカーの利用者によって所持される端末装置と通信可能であり、前記端末装置は、前記カメラで撮影された前記カメラ画像から前記ベビーカーの乗車者の特定の表情を検出されたときに、前記カメラに対して周囲撮影要求を送り、前記カメラは、前記周囲撮影要求に基づいて、前記ベビーカーの周囲のカメラ画像を撮影する。

このベビーカーによっても、上記のシステムと同様に、ベビーカーの乗車者の特定の表情のカメラ画像とともに、その乗車者が特定の表情になった要因（その乗車者のお気に入りの対象物など）を含んだベビーカーの周囲のカメラ画像を得ることができる。

本発明のプログラムは、ベビーカーの利用者によって所持される端末装置で実行されるプログラムであって、前記端末装置は、前記ベビーカーに取り付けられたカメラと通信可能であり、前記カメラは、前記ベビーカーの乗車者のカメラ画像を撮影可能であり、前記プログラムは、前記端末装置に、前記カメラで撮影された前記カメラ画像が入力されると、前記カメラ画像から、前記ベビーカーの乗車者の特定の表情を検出する処理と、前記特定の表情が検出されたときに、前記カメラに対して前記ベビーカーの周囲のカメラ画像を撮影する周囲撮影要求を送る処理と、を実行させる。

このプログラムによっても、上記のシステムと同様に、ベビーカーの乗車者の特定の表情のカメラ画像とともに、その乗車者が特定の表情になった要因（その乗車者のお気に入りの対象物など）を含んだベビーカーの周囲のカメラ画像を得ることができる。

本発明によれば、ベビーカーでの外出中にそのベビーカーに乗っている乳幼児の特定の表情を記録することができる。

本発明の実施の形態における表情記録システム（笑顔記録システム）の説明図である。 本発明の実施の形態における端末装置のブロック図である。 本発明の実施の形態における同一画面表示の説明図である。 本発明の実施の形態における笑顔検出位置表示の説明図である。 本発明の実施の形態における同一画面表示処理のフロー図である。 本発明の実施の形態における笑顔画像選択処理のフロー図である。 本発明の実施の形態における映像・音楽再生処理のフロー図である。 本発明の実施の形態における笑顔検出位置記録処理・接近通知処理のフロー図である。 本発明の実施の形態における視線方向検出処理のフロー図である。

以下、本発明の実施の形態の表情記録システムについて、図面を用いて説明する。本実施の形態では、乳幼児を乗せるベビーカー等に用いられる表情記録システムの場合を例示する。この表情記録システムは、ベビーカーでの外出中にそのベビーカーに乗っている乳幼児の特定の表情を記録する機能を備えている。以下では、特定の表情の例として「笑顔」の場合を例示して説明するが、「泣き顔」や「怒り顔」や「変顔」などの他の表情についても同様に実施可能である。

本発明の実施の形態の表情記録システム（笑顔記録システム）の構成を、図面を参照して説明する。図１は、本実施の形態の表情記録システムの概略構成を示す説明図である。図１に示すように、表情記録システム１は、ベビーカー２に取り付けられるカメラ３と、ベビーカー２の利用者によって所持される端末装置４とを備えている。なお、ベビーカー２の乗車者は、例えば乳幼児であり、ベビーカー２の利用者は、例えば乳幼児の保護者である。

まず、図１を参照しながら、カメラ３の構成について説明する。カメラ３は、ベビーカー２の乗車者のカメラ画像を撮影することができるように、ベビーカー２に取り付けられている。カメラ画像は、静止画像であってもよく、動画像であってもよい。例えば、カメラ３は、ベビーカー２のアーム５などに、撮影方向がベビーカー２の乗車者に向けられた状態（すなわち、アーム５の内側に向けられた状態）で取り付けられる。アーム５は、例えば円弧状またはアーチ状に構成されており、ベビーカー２のシート６の前方（シート６に着座した乗車者の前方）を横切るように配置される。なお、カメラ３は、アーム５に内蔵されていてもよく、アーム５に着脱可能に取り付けられてもよい。

また、カメラ３は、ベビーカー２の周囲を撮影できるように構成されている。例えば、カメラ３は、広角レンズを用いてベビーカー２の周囲を広角で撮影できるように構成される。あるいは、カメラ３は、３６０度レンズを用いてベビーカー２の全周囲を撮影できるように構成される。また、カメラ３は、パン機能やチルト機能を備えてもよい。その場合、カメラ３は、パン方向やチルト方向にカメラレンズを回転させることにより、ベビーカー２の周囲（または全周囲）を撮影できるように構成される。

さらに、カメラ３は、ＧＰＳ衛星との通信を行うことにより、現在のカメラ３の位置（ベビーカー２の位置）を示す位置情報（例えば、経度緯度情報）を取得するＧＰＳ機能を備えている。また、カメラ３は、現在のカメラ３の向き（ベビーカー２の向き）を示す向き情報（例えば、方位情報）を取得するジャイロ機能を備えている。また、カメラ３は、端末装置４と無線または有線で通信する機能を備えている。したがって、カメラ３は、撮影したカメラ画像のデータのほかに、これらの位置情報や向き情報を、端末装置４に送信することができる。また、カメラ３は、端末装置４から、後述する周囲撮影要求や継続撮影要求などの要求信号を受信することができる。なお、カメラ３のバッテリーは、カメラ３自体に備えられてもよく、ベビーカー２に備えられてもよい。

つぎに、図２を参照しながら、端末装置４の構成について説明する。図２は、端末装置４の構成を説明するためのブロック図である。端末装置４は、例えばスマートフォンなどの携帯型の端末装置４である。図２に示すように、端末装置４は、タッチパネル１０、スピーカ１１、記憶部１２、通信部１３、第１制御部１４、第２制御部１５を備えている。なお、第１制御部１４と第２制御部１５は、一つの制御部で構成されてもよい。

タッチパネル１０は、入力部と表示部の機能を兼ね備えている。したがって、端末装置４の利用者（ベビーカー２の利用者）は、タッチパネル１０から各種の情報を入力することができる。また、タッチパネル１０には、端末装置４の利用者（ベビーカー２の利用者）が確認できるように各種の情報が表示される。スピーカ１１は、端末装置４の利用者（ベビーカー２の利用者）に対して音声を出力する機能を備えている。

記憶部１２は、メモリなどで構成されており、各種のデータを保存することができる。例えば、記憶部１２には、カメラ３で撮影されたカメラ画像のデータが記憶される。この記憶部１２には、映像や音楽などのデータが記憶されてもよい。また、この記憶部１２には、端末装置４の各種の機能（表情記録機能も含まれる）を実現するためのプログラムが記憶されている。このプログラムを実行することにより、端末装置４の各種の機能が実現されるともいえる。

通信部１３は、外部装置と無線または有線で通信する機能を備えている。外部装置には、上記のカメラ３も含まれる。したがって、通信部１３は、カメラ３と無線または有線で通信する機能を備えており、端末装置４は、カメラ３から、撮影したカメラ画像のデータのほかに、上述した位置情報や向き情報を受信することができる。また、端末装置４は、カメラ３に、後述する周囲撮影要求や継続撮影要求などの要求信号を送信することができる。なお、通信方式は、公知の方式を利用することができる。

第１制御部１４は、表情記録機能に関するメイン制御を行うための制御部であり、データ入力部１４０、表情検出部１４１、周囲撮影要求部１４２、表示処理部１４３、継続撮影要求部１４４、画像選択部１４５を備えている。

データ入力部１４０は、表情記録機能を実現するために種々のデータが入力される入力インターフェースとして機能を有している。例えば、データ入力部１４０には、カメラ３で撮影されたカメラ画像（例えば、ベビーカー２の乗車者のカメラ画像）が入力される。表情検出部１４１は、データ入力部１４０に入力されたカメラ画像から、ベビーカー２の乗車者の特定の表情を検出する機能を備えている。例えば、表情検出部１４１は、カメラ画像に笑顔検出用の画像処理を施すことにより、ベビーカー２の乗車者の笑顔を検出することができる。なお、笑顔検出の手法は、公知の手法を利用することができる。同様に、他の特定の表情の検出（例えば、泣き顔検出、怒り顔検出、変顔検出など）についても、公知の手法を利用することができる。

周囲撮影要求部１４２は、表情検出部１４１でカメラ画像からベビーカー２の乗車者の笑顔が検出されたときに、カメラ３に対してベビーカー２の周囲のカメラ画像を撮影する周囲撮影要求を送る機能を備えている。周囲撮影要求は、通信部１３を介して、端末装置４からカメラ３へ送信される。カメラ３は、周囲撮影要求を受信すると、ベビーカー２の周囲のカメラ画像を撮影し、そのカメラ画像（ベビーカー２の周囲のカメラ画像）を端末装置４へ返送する。

表示処理部１４３は、このカメラ画像（ベビーカー２の周囲のカメラ画像）を、笑顔が検出されたときの乗車者のカメラ画像とともに同一画面上に表示する機能を備えている。図３は、同一画面表示の一例を示す説明図である。図３に示すように、表示処理部１４３は、笑顔が検出されたときの乗車者のカメラ画像と、そのときのベビーカー２の周囲のカメラ画像とを、同一画面に並べて表示する。なお、図３の例では、笑顔が検出されたときの乗車者のカメラ画像と、そのときのベビーカー２の周囲のカメラ画像とが、上下に並べて表示されているが、同一画面上であれば、左右に並べるなど他の並べ方でもよい。また、表示処理部１４３は、連続するカメラ画像をつなげて動画として再生（表示）する機能も備えてもよい。その場合、笑顔が検出されたときの乗車者のカメラ画像から生成された動画と、そのときのベビーカー２の周囲のカメラ画像から生成された動画とを、同一画面に並べて表示することができる。

継続撮影要求部１４４は、表情検出部１４１でカメラ画像からベビーカー２の乗車者の笑顔が検出されている間は、カメラ３に対してベビーカー２の乗車者のカメラ画像を継続して撮影する継続撮影要求を送る機能を備えている。継続撮影要求は、通信部１３を介して、端末装置４からカメラ３へ送信される。カメラ３は、継続撮影要求を受信すると、ベビーカー２の乗車者のカメラ画像を撮影しつづける。このようにして撮影された複数のカメラ画像（継続して撮影された乗車者の笑顔のカメラ画像）は、カメラ３から端末装置４へ返送される。

画像選択部１４５は、これらの複数のカメラ画像（継続して撮影された乗車者の笑顔のカメラ画像）の中から笑顔度が所定値以上のカメラ画像を選択する機能を備えている。例えば、画像選択部１４５は、複数のカメラ画像の各々から笑顔を検出し、検出した笑顔ごとに笑顔度を算出する。そして、画像選択部１４５は、笑顔度が所定値以上のカメラ画像の中から笑顔度の最も大きいカメラ画像を一つ選択する。なお、笑顔度が所定値以上のカメラ画像であれば、複数のカメラ画像を選択してもよい。また、笑顔度の算出については、公知の手法を利用することができる。同様に、他の特定の表情の度合い（例えば、泣き顔度、怒り顔度、変顔度など）の算出についても、公知の手法を利用することができる。

第２制御部１５は、表情記録機能に関するサブ制御を行うための制御部であり、感情分析部１５０、再生処理部１５１、位置取得部１５２、記録処理部１５３、通知処理部１５４、向き情報取得部１５５、視線方向検出処理部１５６を備えている。

感情分析部１５０は、カメラ３で撮影されたカメラ画像（ベビーカー２の乗車者のカメラ画像）から、そのベビーカー２の乗車者の感情を分析する機能を備えている。例えば、感情分析部１５０は、そのベビーカー２の乗車者の感情が「喜」「怒」「哀」「楽」のいずれであるかを、カメラ画像（ベビーカー２の乗車者のカメラ画像）から分析することができる。なお、感情分析の手法は、公知の手法を利用することができる。

再生処理部１５１は、感情分析部１５０での分析結果（分析結果として得られたベビーカー２の乗車者の感情）に応じて映像または音楽を再生する機能を備えている。例えば、再生処理部１５１は、分析結果として得られたベビーカー２の乗車者の感情が「喜」や「楽」であれば、明るい雰囲気の映像や音楽を再生し、分析結果として得られたベビーカー２の乗車者の感情が「怒」や「哀」であれば、暗い雰囲気の映像や音楽を再生する。

位置取得部１５２は、ベビーカー２の位置情報を取得する機能を備えている。例えば、位置取得部１５２は、端末装置４の現在の位置情報（例えば、経度緯度情報）を取得するＧＰＳ機能を備えている。位置取得部１５２は、この端末装置４の位置情報をベビーカー２の位置情報として取得する。また、上述のように、カメラ３は、カメラ３の現在の位置を示す位置情報（例えば、経度緯度情報）を取得するＧＰＳ機能を備えているので、位置取得部１５２は、このカメラ３の位置情報をベビーカー２の位置情報（そのカメラ３が取り付けられたベビーカー２の位置情報）として、カメラ３から取得してもよい。

記録処理部１５３は、表情検出部１４１でカメラ画像からベビーカー２の乗車者の笑顔が検出されたときのベビーカー２の位置（例えば、緯度経度）を笑顔検出位置として記録する機能を備えている。笑顔検出位置の情報は、記憶部１２に記録される。なお、記憶部１２には、他の利用者の笑顔検出位置（他のベビーカー２の乗車者の笑顔が検出された位置）が記憶されてもよい。

通知処理部１５４は、ベビーカー２が笑顔検出位置に接近するとベビーカー２の利用者に通知を行う機能を備えている。通知処理部１５４は、ベビーカー２の現在の位置（位置取得部１５２によりカメラ３から取得される）が笑顔検出位置（記憶部１２に記憶されている）に近づくと、ベビーカー２の利用者に通知を行う。例えば、笑顔検出位置を中心とする所定半径の円形エリア内に入ると、ベビーカー２の利用者に通知を行う。ベビーカー２の利用者への通知は、音や光や振動などの公知の手法で行うことができる。また、通知処理部１５４は、ベビーカー２の利用者に対して、感情分析部１５０での分析結果（分析結果として得られたベビーカー２の乗車者の感情）に応じた通知を行う機能を備えてもよい。例えば、通知処理部１５４は、分析結果として得られたベビーカー２の乗車者の感情が「怒」や「哀」である場合に、最寄りの笑顔検出位置を通知してもよい。ベビーカー２の利用者への通知は、例えば、タッチパネル１０（画面表示による通知）やスピーカ１１（音声による通知）を用いて行うことができる。

向き情報取得部１５５は、ベビーカー２の向きを検出する機能を備えている。上述のように、カメラ３は、カメラ３の現在の向きを示す情報（例えば、方位情報）を取得するジャイロ機能を備えており、向き情報取得部１５５は、このカメラ３の向き情報をベビーカー２の向き（そのカメラ３が取り付けられたベビーカー２の向き）として、カメラ３から取得する。

視線方向検出処理部１５６は、表情検出部１４１でカメラ画像からベビーカー２の乗車者の笑顔が検出されたときのベビーカー２の向きを、そのベビーカー２の乗車者の視線方向（例えば、東西南北などの方位）として検出する機能を備えている。なお、視線方向検出の手法は、公知の手法を利用することができる。例えば、ベビーカー２の乗車者のカメラ画像のうち目の部分に注目し、画像解析を施すなどして、乗車者の視線方向を算出し、その時点におけるベビーカー２の向き（進行方向）を考慮に入れて、ベビーカー２の乗車の視線方向（例えば、東西南北などの方位）を検出してもよい。検出した視線方向の情報は、記憶部１２に記憶される。

なお、表示処理部１４３は、笑顔検出位置を地図上に表示してもよい。図４は、笑顔検出位置表示の一例を示す説明図である。図４の例では、笑顔検出位置が「笑顔マーク」で地図上に表示されている。また、図４では、ベビーカー２の現在位置が丸印で表示されており、ベビーカー２の向き（進行方向）が三角印で表示されている。図４の例では、ベビーカー２の向きは地図上で右向きである。

以上のように構成された表情記録システム１について、図５〜図９のフロー図を参照してその動作を説明する。

図５は、本実施の形態の表情記録システム１における同一画面表示処理のフロー図である。端末装置４では、常に、カメラ３で撮影したベビーカー２の乗車者のカメラ画像（動画像）がライブビューで表示されている。端末装置４で同一画面表示処理が行われる場合には、図５に示すように、まず、カメラ３から端末装置４へカメラ画像が入力され（Ｓ１０）、入力されたカメラ画像からベビーカー２の乗車者の笑顔を検出する処理が実行される（Ｓ１１）。

そして、カメラ画像からベビーカー２の乗車者の笑顔が検出された場合には（Ｓ１２）、端末装置４からカメラ３へ周囲撮影要求が送られ（Ｓ１３）、この周囲撮影要求に基づいて撮影されたベビーカー２の周囲のカメラ画像がカメラ３で撮影される。このようにして撮影されたベビーカー２の周囲のカメラ画像が端末装置４に入力されると（Ｓ１４）、笑顔が検出されたときのベビーカー２の乗車者のカメラ画像（笑顔のカメラ画像）とその笑顔が検出されたときのベビーカー２の周囲のカメラ画像が同一画面上に表示される（Ｓ１５）。

図６は、本実施の形態の表情記録システム１における笑顔画像選択処理のフロー図である。図６に示すように、端末装置４で笑顔画像選択処理が行われる場合には、まず、カメラ３から端末装置４へカメラ画像が入力され（Ｓ２０）、入力されたカメラ画像からベビーカー２の乗車者の笑顔を検出する処理が実行される（Ｓ２１）。

そして、カメラ画像からベビーカー２の乗車者の笑顔が検出された場合には（Ｓ２２）、端末装置４からカメラ３へ継続撮影要求が送られ（Ｓ２３）、ベビーカー２の乗車者のカメラ画像（笑顔のカメラ画像）の撮影が繰り返される。そして、カメラ画像からベビーカー２の乗車者の笑顔が検出されなくなると（Ｓ２２）、継続して撮影されたカメラ画像（笑顔のカメラ画像）の中から、笑顔度が所定以上でありかつ笑顔度が最も大きいカメラ画像を一つ選択する（Ｓ２４）。なお、笑顔度が所定値以上のカメラ画像であれば、複数のカメラ画像を選択してもよい。

図７は、本実施の形態の表情記録システム１における映像・音楽再生処理のフロー図である。図７に示すように、端末装置４で映像・音楽再生処理が行われる場合には、カメラ３から端末装置４へカメラ画像が入力されると（Ｓ３０）、そのカメラ画像からベビーカー２の乗車者の感情（例えば「喜」「怒」「哀」「楽」）が分析される（Ｓ３１）。そして、そのベビーカー２の乗車者の感情に応じた映像または音楽が再生される（Ｓ３２）。例えば、ベビーカー２の乗車者の感情が「喜」や「楽」であると分析された場合には、明るい雰囲気の映像や音楽が再生される。一方、ベビーカー２の乗車者の感情が「怒」や「哀」であると分析された場合には、暗い雰囲気の映像や音楽が再生される。

図８は、本実施の形態の表情記録システム１における笑顔検出位置記録処理・接近通知処理のフロー図である。図８に示すように、端末装置４で笑顔検出位置記録処理・接近通知処理が行われる場合には、まず、カメラ３からカメラ画像が入力されるときに、そのカメラ３からカメラ３の位置情報（ベビーカー２の位置情報）を取得する（Ｓ４０）。そして、入力されたカメラ画像からベビーカー２の乗車者の笑顔を検出されると（Ｓ４１）。そのときのベビーカー２の位置を笑顔検出位置として記憶部１２に記録する（Ｓ４２）。

その後（例えば、次回のベビーカー２での外出のときなど）、カメラ３からカメラ画像が入力されるときに、そのカメラ３の位置情報（ベビーカー２の位置情報）を取得し（Ｓ４３）、そのベビーカー２の位置と記録された笑顔検出位置とを比較して、ベビーカー２が笑顔検出位置に接近している（例えば笑顔検出位置から所定半径内に近づいている）と判定されると（Ｓ４４）、ベビーカー２の利用者にその旨が通知される（Ｓ４５）。

図９は、本実施の形態の表情記録システム１における視線方向検出処理のフロー図である。図９に示すように、端末装置４で視線方向検出処理が行われる場合には、まず、カメラ３からカメラ画像が入力されるときに、そのカメラ３からベビーカー２の向き情報を取得する（Ｓ５０）。そして、入力されたカメラ画像からベビーカー２の乗車者の笑顔を検出されると（Ｓ５１）。そのときのベビーカー２の向きをベビーカー２の乗車者の視線方向として検出し（Ｓ５２）、検出した視線方向を記憶部１２に記録する（Ｓ５３）。

このような本実施の形態の表情記録システム１によれば、ベビーカー２での外出中にそのベビーカー２に乗っている乳幼児の笑顔を記録することができる。

すなわち、本実施の形態では、ベビーカー２での外出中に乗車者（例えば乳幼児など）のカメラ画像を撮影することができる。そして例えば、ある地点を通過したときにベビーカー２の乗車者が笑顔になると、その地点におけるベビーカー２の周囲のカメラ画像が撮影される。これにより、ベビーカー２の乗車者の笑顔のカメラ画像とともに、その乗車者が笑顔になった要因（その乗車者のお気に入りの対象物など）を含んだベビーカー２の周囲のカメラ画像を得ることができる。

また、本実施の形態では、ベビーカー２の乗車者（例えば乳幼児など）の笑顔とその乗車者が笑顔になった要因（その乗車者のお気に入りの対象物など）との対応を、同一画面上で容易に把握することができる。

また、本実施の形態では、ベビーカー２の乗車者（例えば乳幼児など）が笑顔になっている間、継続して乗車者のカメラ画像（笑顔のカメラ画像）を撮影しつづけて、その中から笑顔度の高い（良い笑顔の）カメラ画像が自動的に選択される。これにより、良い笑顔のカメラ画像を得ることができる。

また、本実施の形態では、ベビーカー２の乗車者（例えば乳幼児など）のカメラ画像からその乗車者の感情が分析され、その感情に応じた映像や音楽が自動的に再生される。これにより、ベビーカー２での外出中に乗車者の感情にあった映像や音楽を演出することができる。

また、本実施の形態では、ベビーカー２の乗車者（例えば乳幼児など）が笑顔になった位置（笑顔検出位置）が記録され、次にその地点に接近すると利用者に通知がされる。これにより、ベビーカー２の利用者は、ベビーカー２の乗車者が笑顔になる地点（乗車者のお気に入りの地点）を把握することができ、ベビーカー２での外出中にその地点に近づいたときにそのことを知ることができる。

また、本実施の形態では、ベビーカー２の乗車者（例えば乳幼児など）が笑顔になったときに、その乗車者の視線方向（見ていた方向）を知ることができる。これにより、その乗車者のお気に入りの対象物を特定することが可能になる。

以上、本発明の実施の形態を例示により説明したが、本発明の範囲はこれらに限定されるものではなく、請求項に記載された範囲内において目的に応じて変更・変形することが可能である。

以上のように、本発明にかかる表情記録システムは、ベビーカーでの外出中にそのベビーカーに乗っている乳幼児の笑顔を記録することができるという効果を有し、乳幼児を乗せるベビーカー等に適用され有用である。

１ 表情記録システム（笑顔記録システム）
２ ベビーカー
３ カメラ
４ 端末装置
５ アーム
６ シート
１０ タッチパネル
１１ スピーカ
１２ 記憶部
１３ 通信部
１４ 第１制御部
１４０ データ入力部
１４１ 表情検出部
１４２ 周囲撮影要求部
１４３ 表示処理部
１４４ 継続撮影要求部
１４５ 画像選択部
１５ 第２制御部
１５０ 感情分析部
１５１ 再生処理部
１５２ 位置取得部
１５３ 記録処理部
１５４ 通知処理部
１５５ 向き情報取得部
１５６ 視線方向検出処理部

Claims (9)

1. ベビーカーに取り付けられ、前記ベビーカーの乗車者のカメラ画像を撮影可能なカメラと、
   前記ベビーカーの利用者によって所持され、前記カメラと通信可能な端末装置と、
   を備え、
   前記端末装置は、
   前記カメラで撮影された前記カメラ画像が入力されるデータ入力部と、
   前記カメラ画像から、前記ベビーカーの乗車者の特定の表情を検出する表情検出部と、
   前記特定の表情が検出されたときに、前記カメラに対して前記ベビーカーの周囲のカメラ画像を撮影する周囲撮影要求を送る周囲撮影要求部と、
   前記ベビーカーの位置情報を取得する位置情報取得部と、
   前記特定の表情が検出されたときの前記ベビーカーの位置を表情検出位置として記録する記録処理部と、
   前記ベビーカーが前記表情検出位置に接近すると前記ベビーカーの利用者に通知を行う通知処理部と、
   を備えることを特徴とする表情記録システム。
2. ベビーカーに取り付けられ、前記ベビーカーの乗車者のカメラ画像を撮影可能なカメラと、
   前記ベビーカーの利用者によって所持され、前記カメラと通信可能な端末装置と、
   を備え、
   前記端末装置は、
   前記カメラで撮影された前記カメラ画像が入力されるデータ入力部と、
   前記カメラ画像から、前記ベビーカーの乗車者の特定の表情を検出する表情検出部と、
   前記特定の表情が検出されたときに、前記カメラに対して前記ベビーカーの周囲のカメラ画像を撮影する周囲撮影要求を送る周囲撮影要求部と、
   前記カメラから、前記ベビーカーの向き情報を取得する向き情報取得部と、
   前記特定の表情が検出されたときの前記ベビーカーの向きを、前記乗車者の視線方向として検出する視線方向検出処理部と、
   を備えることを特徴とする表情記録システム。
3. 前記端末装置は、
   前記特定の表情が検出されたときの前記乗車者のカメラ画像と当該特定の表情が検出されたときの前記周囲のカメラ画像とを、同一画面上に表示する表示処理部を備える、請求項１または請求項２に記載の表情記録システム。
4. 前記端末装置は、
   前記特定の表情が検出されている間は、前記カメラに対して前記ベビーカーの乗車者のカメラ画像を継続して撮影する継続撮影要求を送る継続撮影要求部と、
   継続して撮影された前記乗車者のカメラ画像の中から特定の表情の度合いが所定値以上のカメラ画像を選択する画像選択部と、
   備える、請求項１〜請求項３のいずれかに記載の表情記録システム。
5. 前記端末装置は、
   前記カメラ画像から、前記ベビーカーの乗車者の感情を分析する感情分析部と、
   分析結果として得られた前記ベビーカーの乗車者の感情に応じて映像または音楽を再生する再生処理部と、
   を備える、請求項１〜請求項４のいずれかに記載の表情記録システム。
6. 乗車者のカメラ画像を撮影可能なカメラを備えるベビーカーであって、
   前記カメラは、前記ベビーカーの利用者によって所持される端末装置と通信可能であり、
   前記端末装置は、前記カメラで撮影された前記カメラ画像から前記ベビーカーの乗車者の特定の表情を検出されたときに、前記カメラに対して周囲撮影要求を送り、
   前記カメラは、前記周囲撮影要求に基づいて、前記ベビーカーの周囲のカメラ画像を撮影し、
   前記端末装置は、前記ベビーカーの位置情報を取得し、前記特定の表情が検出されたときの前記ベビーカーの位置を表情検出位置として記録し、前記ベビーカーが前記表情検出位置に接近すると前記ベビーカーの利用者に通知を行うことを特徴とするベビーカー。
7. 乗車者のカメラ画像を撮影可能なカメラを備えるベビーカーであって、
   前記カメラは、前記ベビーカーの利用者によって所持される端末装置と通信可能であり、
   前記端末装置は、前記カメラで撮影された前記カメラ画像から前記ベビーカーの乗車者の特定の表情を検出されたときに、前記カメラに対して周囲撮影要求を送り、
   前記カメラは、前記周囲撮影要求に基づいて、前記ベビーカーの周囲のカメラ画像を撮影し、
   前記端末装置は、前記カメラから、前記ベビーカーの向き情報を取得し、前記特定の表情が検出されたときの前記ベビーカーの向きを、前記乗車者の視線方向として検出することを特徴とするベビーカー。
8. ベビーカーの利用者によって所持される端末装置で実行されるプログラムであって、
   前記端末装置は、前記ベビーカーに取り付けられたカメラと通信可能であり、
   前記カメラは、前記ベビーカーの乗車者のカメラ画像を撮影可能であり、
   前記プログラムは、前記端末装置に、
   前記カメラで撮影された前記カメラ画像が入力されると、前記カメラ画像から、前記ベビーカーの乗車者の特定の表情を検出する処理と、
   前記特定の表情が検出されたときに、前記カメラに対して前記ベビーカーの周囲のカメラ画像を撮影する周囲撮影要求を送る処理と、
   前記ベビーカーの位置情報を取得する処理と、
   前記特定の表情が検出されたときの前記ベビーカーの位置を表情検出位置として記録する処理と、
   前記ベビーカーが前記表情検出位置に接近すると前記ベビーカーの利用者に通知を行う処理と、
   を実行させることを特徴とするプログラム。
9. ベビーカーの利用者によって所持される端末装置で実行されるプログラムであって、
   前記端末装置は、前記ベビーカーに取り付けられたカメラと通信可能であり、
   前記カメラは、前記ベビーカーの乗車者のカメラ画像を撮影可能であり、
   前記プログラムは、前記端末装置に、
   前記カメラで撮影された前記カメラ画像が入力されると、前記カメラ画像から、前記ベビーカーの乗車者の特定の表情を検出する処理と、
   前記特定の表情が検出されたときに、前記カメラに対して前記ベビーカーの周囲のカメラ画像を撮影する周囲撮影要求を送る処理と、
   前記カメラから、前記ベビーカーの向き情報を取得する処理と、
   前記特定の表情が検出されたときの前記ベビーカーの向きを、前記乗車者の視線方向として検出する処理と、
   を実行させることを特徴とするプログラム。