JP7403552B2 - ロボット、制御処理方法及び制御処理プログラム - Google Patents

ロボット、制御処理方法及び制御処理プログラム Download PDF

Info

Publication number
JP7403552B2
JP7403552B2 JP2021552119A JP2021552119A JP7403552B2 JP 7403552 B2 JP7403552 B2 JP 7403552B2 JP 2021552119 A JP2021552119 A JP 2021552119A JP 2021552119 A JP2021552119 A JP 2021552119A JP 7403552 B2 JP7403552 B2 JP 7403552B2
Authority
JP
Japan
Prior art keywords
robot
camera
camera robot
pattern
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021552119A
Other languages
English (en)
Other versions
JPWO2021075144A1 (ja
Inventor
智晃 井野
花瑛 姜
哲司 渕上
基司 大森
崇司 近藤
孝則 遠藤
由貴 石原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Publication of JPWO2021075144A1 publication Critical patent/JPWO2021075144A1/ja
Priority to JP2023208699A priority Critical patent/JP2024025810A/ja
Application granted granted Critical
Publication of JP7403552B2 publication Critical patent/JP7403552B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/178—Human faces, e.g. facial parts, sketches or expressions estimating age from face image; using age information for improving recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63H—TOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H11/00—Self-movable toy figures
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63H—TOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H30/00—Remote-control arrangements specially adapted for toys, e.g. for toy vehicles
    • A63H30/02—Electrical arrangements
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63H—TOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H33/00—Other toys
    • A63H33/22—Optical, colour, or shadow toys
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63H—TOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H5/00—Musical or noise- producing devices for additional toy effects other than acoustical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/02—Bodies
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2206/00—Systems for exchange of information between different pieces of apparatus, e.g. for exchanging trimming information, for photo finishing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Engineering & Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Manipulator (AREA)

Description

本開示は、他のロボットとともに動作して１以上の被写体を撮像する技術に関するものである。
近年、様々なロボットが市場に導入されている。また、カメラを備えた複数のロボットが協調動作を行う技術も開発されている。
例えば、特許文献１には、複数台のロボットカメラが相互に撮影情報を交換すると共に協調動作して、状況に応じた撮影が自動的に行え、且つ必要に応じて人がロボットカメラを操作するロボットカメラ装置が開示されている。
しかしながら、上記従来の技術では、被写体のよい表情を引き出すことが困難であり、更なる改善が必要とされていた。
特開２００２－１８５８３７号公報
本開示は、上記の問題を解決するためになされたもので、楽しい雰囲気の空間を１以上の被写体に提供することができ、１以上の被写体のよい表情を引き出すことができる技術を提供することを目的とするものである。
本開示の一態様に係るロボットは、他のロボットとともに動作して１以上の被写体を撮像するロボットであって、周囲を撮像する撮像部と、撮像画像内から１以上の被写体を検出する検出部と、検出された前記１以上の被写体の属性に基づいて前記ロボットの動作パターンを選択する選択部と、選択された前記動作パターンに従って前記他のロボットを動作させるための指示情報を前記他のロボットへ送信する送信部と、選択された前記動作パターンに従って前記ロボットを動作させる動作部と、選択された前記動作パターンに従って前記ロボット及び前記他のロボットが動作している間、前記１以上の被写体を撮像した画像を出力する出力部と、を備える。
本開示によれば、楽しい雰囲気の空間を１以上の被写体に提供することができ、１以上の被写体のよい表情を引き出すことができる。
本開示の実施の形態１における撮像システムの全体構成を示す図である。 本開示の実施の形態１における第１カメラロボットの外観を示す斜視図である。 本開示の実施の形態１における第１カメラロボットの外観を示す正面図である。 本開示の実施の形態１における第１カメラロボットの外観を示す背面図である。 本開示の実施の形態１における第１カメラロボットの構成を示すブロック図である。 本開示の実施の形態１における撮像システムの動作について説明するための第１のフローチャートである。 本開示の実施の形態１における撮像システムの動作について説明するための第２のフローチャートである。 本実施の形態１において、第１動作パターンが選択された場合に表示部に表示される画像の一例を示す図である。 本実施の形態１において、第２動作パターンが選択された場合に表示部に表示される画像の一例を示す図である。 本開示の実施の形態２における第１カメラロボットの構成を示すブロック図である。 本開示の実施の形態２における撮像システムの動作について説明するための第１のフローチャートである。 本開示の実施の形態２における撮像システムの動作について説明するための第２のフローチャートである。 本開示の実施の形態２における撮像システムの動作について説明するための第３のフローチャートである。 本開示の実施の形態２における撮像システムの動作について説明するための第４のフローチャートである。 本実施の形態２において、第３動作パターンが選択された場合に表示部に表示される画像の一例を示す図である。 本実施の形態２において、第４動作パターンが選択された場合に表示部に表示される画像の一例を示す図である。 本開示の実施の形態３における第１カメラロボットの構成を示すブロック図である。 本開示の実施の形態３における撮像システムの動作について説明するための第１のフローチャートである。 本開示の実施の形態３における撮像システムの動作について説明するための第２のフローチャートである。 本開示の実施の形態３における撮像システムの動作について説明するための第３のフローチャートである。 本開示の実施の形態３における撮像システムの動作について説明するための第４のフローチャートである。
（本開示の基礎となった知見）
上記の従来技術におけるロボットカメラ装置は、撮影用カメラ及びロボットカメラ駆動部を有する１以上のロボットカメラと、撮影範囲内における被写体の３次元位置を計測する位置検出部と、被写体の音声情報を含む状態検出用の情報を計測する状態検出部と、番組特有のショットに関する撮影手法を含む種々の撮影制御情報を綜合的に管理するシナリオサーバとを備えている。そして、１以上のロボットカメラ、位置検出部、状態検出部、及びシナリオサーバがユニット化されて分散配置されると共に、通信ネットワークを介して各ユニット間で相互に通信できるように構成されている。
上記の１以上のロボットカメラは、単に被写体を自動的に撮影するだけである。そのため、１以上のロボットカメラが動作することによって、被写体の表情が変化することはなく、被写体のよい表情を引き出すことが困難であった。
以上の課題を解決するために、本開示の一態様に係るロボットは、他のロボットとともに動作して１以上の被写体を撮像するロボットであって、周囲を撮像する撮像部と、撮像画像内から１以上の被写体を検出する検出部と、検出された前記１以上の被写体の属性に基づいて前記ロボットの動作パターンを選択する選択部と、選択された前記動作パターンに従って前記他のロボットを動作させるための指示情報を前記他のロボットへ送信する送信部と、選択された前記動作パターンに従って前記ロボットを動作させる動作部と、選択された前記動作パターンに従って前記ロボット及び前記他のロボットが動作している間、前記１以上の被写体を撮像した画像を出力する出力部と、を備える。
この構成によれば、１以上の被写体の属性に基づいてロボットの動作パターンが選択され、選択された動作パターンに従ってロボット及び他のロボットが動作し、選択された動作パターンに従ってロボット及び他のロボットが動作している間、１以上の被写体を撮像した画像が出力される。
したがって、選択された動作パターンに従って複数のロボットが同時に動作するので、楽しい雰囲気の空間を１以上の被写体に提供することができ、１以上の被写体のよい表情を引き出すことができる。
また、上記のロボットにおいて、検出された前記１以上の被写体が子供及び大人のいずれであるかを認識する被写体認識部をさらに備え、前記選択部は、検出された前記１以上の被写体が子供のみである場合、第１の動作パターンを選択し、検出された前記１以上の被写体が子供のみではない場合、前記第１の動作パターンよりも前記ロボットの動作量が少ない第２の動作パターンを選択してもよい。
この構成によれば、１以上の被写体が子供のみである場合と、１以上の被写体が子供のみではない場合とで、異なる動作パターンで複数のロボットが動作するので、子供を飽きさせることなく、子供から様々な表情を引き出すことができる。
また、上記のロボットにおいて、前記ロボットが持ち上げられたことを検知するセンサをさらに備え、前記選択部は、前記ロボットが持ち上げられたことが検知された場合、持ち上げられたことに対して反応する第３の動作パターンを選択し、前記送信部は、前記ロボットが持ち上げられたことを示す持ち上げ情報を前記他のロボットへ送信してもよい。
この構成によれば、ロボットが持ち上げられたことが検知された場合、持ち上げられたことに対して反応する第３の動作パターンが選択され、第３の動作パターンに従ってロボットが動作する。したがって、例えば、嫌がるような第３動作パターンでロボットが動作することにより、持ち上げた人物に対してロボットを置くように促すことができる。また、１以上の被写体は、意図的にロボットを持ち上げることにより、第１動作パターン及び第２動作パターンとは異なる第３動作パターンによるロボットの動作を楽しむことができる。
また、上記のロボットにおいて、前記持ち上げ情報を前記他のロボットから受信する受信部をさらに備え、前記選択部は、前記他のロボットからの前記持ち上げ情報が受信された場合、前記他のロボットが持ち上げられたことに対して反応する第４の動作パターンを選択してもよい。
この構成によれば、他のロボットからの持ち上げ情報が受信された場合、他のロボットが持ち上げられたことに対して反応する第４の動作パターンが選択される。したがって、例えば、怒るような第４動作パターンでロボットが動作することにより、持ち上げた人物に対して他のロボットを置くように促すことができる。
また、上記のロボットにおいて、前記センサは、持ち上げられた前記ロボットが置かれたことを検知し、前記選択部は、前記ロボットが置かれたことが検知された場合、前記ロボットが持ち上げられる前に動作していた動作パターンを選択してもよい。
この構成によれば、持ち上げられたロボットが置かれた場合、ロボットが持ち上げられる前の動作パターンでロボットを動作させることができる。
また、上記のロボットにおいて、周囲の音を収集する集音部と、収集された前記音が音楽であることを認識する音楽認識部と、スピーカと、をさらに備え、前記選択部は、認識された前記音楽のリズムに合わせて音を前記スピーカから出力する第５の動作パターンを選択してもよい。
この構成によれば、収集された音が音楽であることが認識された場合、認識された音楽のリズムに合わせて音がスピーカから出力されるので、楽しい雰囲気の空間を１以上の被写体に提供することができ、１以上の被写体のよい表情を引き出すことができる。
また、上記のロボットにおいて、前記ロボットの設置場所を示す設置場所情報と、前記ロボットに予め設定されている性格を示す性格情報とを記憶する記憶部と、前記他のロボットの前記設置場所情報及び前記性格情報を前記他のロボットから受信する受信部と、をさらに備え、前記動作部は、前記ロボットの前記設置場所が前記他のロボットの前記設置場所と同じである場合、前記ロボットの前記性格と前記他のロボットの前記性格とに基づいて、選択された前記動作パターンの動作量を変化させてもよい。
この構成によれば、例えば、ロボットの性格には、相性のよい組み合わせと、相性の悪い組み合わせとが設定されている。この場合、設置場所が同じである複数のロボットの性格が相性のよい組み合わせであれば、選択された動作パターンの動作量が増加される。また、設置場所が同じである複数のロボットの性格が相性の悪い組み合わせであれば、選択された動作パターンの動作量が減少される。このように、複数のロボットに対して設定された性格により、選択された動作パターンの動作量が変化するので、１以上の被写体を飽きさせることなく、複数のロボットの仮想的な関係を形成することができる。
また、上記のロボットにおいて、前記ロボットの本体に形成された表示部と、前記本体に形成されたスピーカと、前記本体の一部を駆動する駆動部と、をさらに備え、前記動作部は、選択された前記動作パターンに従って、所定の表情を示す画像を前記表示部に表示させ、所定の音を前記スピーカから出力させ、所定の駆動パターンに応じて前記本体の一部を前記駆動部に駆動させてもよい。
この構成によれば、複数の動作パターンに対して、表情を示す画像、音及び本体の一部の駆動パターンを予め対応付けて記憶しておくことにより、選択された動作パターンに従って、表示部、スピーカ及び駆動部を動作させることができ、１以上の被写体が楽しめる空間を提供することができる。
本開示の他の態様に係る制御処理方法は、他のロボットとともに動作して１以上の被写体を撮像するロボットにおける制御処理方法であって、周囲を撮像し、撮像画像内から１以上の被写体を検出し、検出された前記１以上の被写体の属性に基づいて前記ロボットの動作パターンを選択し、選択された前記動作パターンに従って前記他のロボットを動作させるための指示情報を前記他のロボットへ送信し、選択された前記動作パターンに従って前記ロボットを動作させ、選択された前記動作パターンに従って前記ロボット及び前記他のロボットが動作している間、前記１以上の被写体を撮像した画像を出力する。
この構成によれば、１以上の被写体の属性に基づいてロボットの動作パターンが選択され、選択された動作パターンに従ってロボット及び他のロボットが動作し、選択された動作パターンに従ってロボット及び他のロボットが動作している間、１以上の被写体を撮像した画像が出力される。
したがって、選択された動作パターンに従って複数のロボットが同時に動作するので、楽しい雰囲気の空間を１以上の被写体に提供することができ、１以上の被写体のよい表情を引き出すことができる。
本開示の他の態様に係る制御処理プログラムは、他のロボットとともに動作して１以上の被写体をロボットに撮像させるための制御処理プログラムであって、周囲を撮像する撮像部と、撮像画像内から１以上の被写体を検出する検出部と、検出された前記１以上の被写体の属性に基づいて前記ロボットの動作パターンを選択する選択部と、選択された前記動作パターンに従って前記他のロボットを動作させるための指示情報を前記他のロボットへ送信する送信部と、選択された前記動作パターンに従って前記ロボットを動作させる動作部と、選択された前記動作パターンに従って前記ロボット及び前記他のロボットが動作している間、前記１以上の被写体を撮像した画像を出力する出力部としてコンピュータを機能させる。
この構成によれば、１以上の被写体の属性に基づいてロボットの動作パターンが選択され、選択された動作パターンに従ってロボット及び他のロボットが動作し、選択された動作パターンに従ってロボット及び他のロボットが動作している間、１以上の被写体を撮像した画像が出力される。
したがって、選択された動作パターンに従って複数のロボットが同時に動作するので、楽しい雰囲気の空間を１以上の被写体に提供することができ、１以上の被写体のよい表情を引き出すことができる。
以下添付図面を参照しながら、本開示の実施の形態について説明する。なお、以下の実施の形態は、本開示を具体化した一例であって、本開示の技術的範囲を限定するものではない。
（実施の形態１）
図１は、本開示の実施の形態１における撮像システムの全体構成を示す図である。
図１に示す撮像システムは、第１カメラロボット１、第２カメラロボット２、第３カメラロボット３及びサーバ４を備える。
第１カメラロボット１、第２カメラロボット２及び第３カメラロボット３は、家庭内の同一の空間内に配置される。第１カメラロボット１、第２カメラロボット２及び第３カメラロボット３は、例えば、リビングルームに配置される。第１カメラロボット１、第２カメラロボット２及び第３カメラロボット３のそれぞれは、１以上の被写体を検出し、検出した１以上の被写体を撮像する。被写体は、人物である。
第１カメラロボット１、第２カメラロボット２及び第３カメラロボット３は、ネットワーク５を介して互いに通信可能に接続されている。第１カメラロボット１、第２カメラロボット２及び第３カメラロボット３のうちの１のカメラロボットは、検出された１以上の被写体の属性に基づいて、複数の動作パターンの中から第１カメラロボット１、第２カメラロボット２及び第３カメラロボット３の動作パターンを選択する。１のカメラロボットは、選択した動作パターンを他のカメラロボットへ通知する。１のカメラロボットは、選択した動作パターンに従って動作する。他のカメラロボットは、通知された動作パターンに従って動作する。
属性は、例えば、被写体が大人であるか子供であるかを示す情報である。第１カメラロボット１、第２カメラロボット２及び第３カメラロボット３は、１以上の被写体が子供のみである場合の第１動作パターンと、１以上の被写体が子供のみではない場合の第２動作パターンとを異ならせる。
また、第１カメラロボット１、第２カメラロボット２及び第３カメラロボット３のそれぞれは、ネットワーク５を介してサーバ４と通信可能に接続されている。ネットワーク５は、例えば、インターネットである。第１カメラロボット１、第２カメラロボット２及び第３カメラロボット３のそれぞれは、撮像した画像を、ネットワーク５を介してサーバ４へ送信する。
なお、本実施の形態１では、撮像システムは、３台のカメラロボットを備えているが、本開示は特にこれに限定されず、２台のカメラロボット又は４台以上のカメラロボットを備えてもよい。
続いて、本実施の形態１における第１カメラロボット１、第２カメラロボット２及び第３カメラロボット３の構成について説明する。
図２は、本開示の実施の形態１における第１カメラロボットの外観を示す斜視図であり、図３は、本開示の実施の形態１における第１カメラロボットの外観を示す正面図であり、図４は、本開示の実施の形態１における第１カメラロボットの外観を示す背面図である。なお、第２カメラロボット２及び第３カメラロボット３の構成は、第１カメラロボット１の構成と同じであるので、第１カメラロボット１の構成のみを説明する。
第１カメラロボット１の本体１００は、下部筐体１０１と、下部筐体１０１の上に設けられた上部筐体１０２とを含む。上部筐体１０２は、下部筐体１０１に対して旋回可能に取り付けられている。上部筐体１０２は、不図示の駆動部により、垂直方向に沿った中心線を回転軸として左方向及び右方向に旋回する。
第１カメラロボット１は、カメラ１１、スピーカ１５及び表示部１６を備える。
カメラ１１は、第１カメラロボット１の本体１００に形成される。カメラ１１は、下部筐体１０１の正面側に設けられる。カメラ１１は、第１カメラロボット１の周囲にいる１以上の被写体を撮像する。
スピーカ１５は、第１カメラロボット１の本体１００に形成される。スピーカ１５は、下部筐体１０１の背面側に設けられる。スピーカ１５は、音を出力する。
表示部１６は、第１カメラロボット１の本体１００に形成される。表示部１６は、上部筐体１０２の正面側に設けられる。表示部１６は、円形状の液晶表示装置であり、人間の目を模した画像を表示する。表示部１６は、表現する表情に応じて、表示する目の種類を変更する。
図５は、本開示の実施の形態１における第１カメラロボットの構成を示すブロック図である。
図５に示す第１カメラロボット１は、カメラ１１、画像認識部１２、制御部１３、メモリ１４、スピーカ１５、表示部１６、シャッター部１７、駆動部１８及び通信部１９を備える。
カメラ１１は、第１カメラロボット１の周囲を撮像する。
画像認識部１２は、カメラ１１による撮像画像内から１以上の被写体を検出する。被写体は、人物である。また、画像認識部１２は、検出した１以上の被写体の属性を認識する。属性は、子供及び大人のいずれかである。画像認識部１２は、顔、身長及び体型などの人物の特徴に基づいて、撮像画像内の１以上の被写体の属性が子供及び大人のいずれであるかを認識する。子供は、例えば１５歳以下の人物である。なお、子供は、例えば１２歳以下の人物であってもよく、１歳から６歳までの幼児であってもよい。
制御部１３は、画像認識部１２によって検出された１以上の被写体の属性に基づいてカメラロボットの動作パターンを選択する。制御部１３は、画像認識部１２によって検出された１以上の被写体が子供のみである場合、第１の動作パターンを選択し、画像認識部１２によって検出された１以上の被写体が子供のみではない場合、第１の動作パターンよりもカメラロボットの動作量が少ない第２の動作パターンを選択する。
メモリ１４は、複数の動作パターンのそれぞれに、上部筐体１０２を旋回させるための駆動パターンと、表示部１６に表示する表情を表す画像と、スピーカ１５から出力する音とを対応付けて予め記憶する。
制御部１３は、選択した動作パターンに従って第１カメラロボット１を動作させる。制御部１３は、選択した動作パターンに対応付けられている駆動パターンに応じた制御信号を駆動部１８へ出力し、選択した動作パターンに対応付けられている画像を表示部１６へ出力し、選択した動作パターンに対応付けられている音をスピーカ１５へ出力する。
スピーカ１５は、制御部１３から入力される音を出力する。スピーカ１５は、選択された動作パターンに対応付けられた所定の音を出力する。
表示部１６は、制御部１３から入力される画像を表示する。表示部１６は、選択された動作パターンに対応付けられた所定の表情を示す画像を表示する。
駆動部１８は、第１カメラロボット１の本体１００の一部を駆動する。駆動部１８は、制御部１３から入力される制御信号に応じて上部筐体１０２を旋回させる。駆動部１８は、選択された動作パターンに対応付けられた所定の駆動パターンに応じて本体１００の一部を駆動する。
制御部１３は、選択された動作パターンに従って、所定の表情を示す画像を表示部１６に表示させ、所定の音をスピーカ１５から出力させ、所定の駆動パターンに応じて本体１００の一部を駆動部１８に駆動させる。
シャッター部１７は、選択された動作パターンに従って第１カメラロボット１及び他のカメラロボット（第２カメラロボット２及び第３カメラロボット３）が動作している間、１以上の被写体を撮像した画像をカメラ１１に出力させる。カメラ１１は、選択された動作パターンに従って第１カメラロボット１及び他のカメラロボット（第２カメラロボット２及び第３カメラロボット３）が動作している間、１以上の被写体を撮像した画像を出力する。カメラ１１は、１以上の被写体を撮像した画像を通信部１９へ出力する。
シャッター部１７は、制御部１３によって選択された動作パターンによる動作が開始された場合、カメラ１１による撮像画像の出力を開始させる。シャッター部１７は、撮像画像を１秒ごとに出力させる。シャッター部１７は、画像認識部１２によって１以上の被写体が検出されなくなった場合、カメラ１１による撮像画像の出力を終了させる。また、制御部１３は、画像認識部１２によって１以上の被写体が検出されなくなった場合、動作パターンに従った第１カメラロボット１の動作を終了させる。
なお、カメラ１１は、１以上の被写体を撮像した画像をメモリ１４へ出力してもよい。この場合、メモリ１４は、１以上の被写体を撮像した画像を記憶してもよい。１以上の被写体を撮像した画像がメモリ１４に記憶される場合、撮像システムはサーバ４を備えていなくてもよい。
通信部１９は、制御部１３によって選択された動作パターンに従って他のカメラロボット（第２カメラロボット２及び第３カメラロボット３）を動作させるための動作開始指示情報を他のカメラロボット（第２カメラロボット２及び第３カメラロボット３）へ送信する。また、通信部１９は、カメラ１１から出力された撮像画像をサーバ４へ送信する。
また、通信部１９は、他のカメラロボット（第２カメラロボット２又は第３カメラロボット３）によって選択された動作パターンに従って第１カメラロボット１を動作させるための動作開始指示情報を他のカメラロボット（第２カメラロボット２又は第３カメラロボット３）から受信する。制御部１３は、通信部１９によって受信された動作開始指示情報に含まれる動作パターンに従って第１カメラロボット１を動作させる。
また、制御部１３は、画像認識部１２によって１以上の被写体が検出されなくなった場合、通信部１９に対し、他のカメラロボット（第２カメラロボット２及び第３カメラロボット３）の動作を終了させるための動作終了指示情報を他のカメラロボット（第２カメラロボット２及び第３カメラロボット３）へ送信させる。通信部１９は、動作終了指示情報を他のカメラロボット（第２カメラロボット２及び第３カメラロボット３）へ送信する。
また、通信部１９は、動作終了指示情報を他のカメラロボット（第２カメラロボット２又は第３カメラロボット３）から受信する。制御部１３は、通信部１９によって動作終了指示情報が受信された場合、動作パターンに従った第１カメラロボット１の動作を終了させる。
なお、メモリ１４は、第１カメラロボット１が設置された家の住人の顔画像と、大人及び子供のいずれであるかを示す属性情報とを予め対応付けて記憶していてもよい。画像認識部１２は、メモリ１４に記憶されている顔画像を用いて撮像画像内の１以上の被写体の顔を認識し、認識した顔が子供及び大人のいずれであるかを認識してもよい。これにより、より正確な属性識別が可能となる。
本実施の形態１では、動作開始指示情報を送信したカメラロボットが、主カメラロボットとなり、動作開始指示情報を受信したカメラロボットが、従カメラロボットとなる。従カメラロボットは、主カメラロボットから受信した動作開始指示情報に含まれる動作パターンに従って従カメラロボットを動作させるとともに、撮像画像を出力する。すなわち、複数のカメラロボットのうち、最も早く１以上の被写体を検出した１のカメラロボットが主カメラロボットとなり、他のカメラロボットは従カメラロボットとなる。従カメラロボットは、主カメラロボットからの指示に従う。
なお、優先順位が複数のカメラロボットに付与されていてもよい。複数のカメラロボットのうちの少なくとも１のカメラロボットが１以上の被写体を検出した場合、複数のカメラロボットのうちの最も優先順位の高いカメラロボットが主カメラロボットとなってもよい。
また、第１カメラロボット１は、１以上の被写体を検出した場合、１以上の被写体のうちの第１カメラロボット１に最も近い被写体までの距離を被写体距離として算出し、算出した被写体距離を他のカメラロボットへ送信してもよい。そして、第１カメラロボット１は、他のカメラロボットによって算出された被写体距離を受信してもよい。第１カメラロボット１は、自身で算出した被写体距離と、他のカメラロボットから受信した被写体距離とのうち、被写体距離が最も短いカメラロボットを主カメラロボットに決定してもよい。例えば、第１カメラロボット１で算出した被写体距離が最も短い場合、第１カメラロボット１は、自身を主カメラロボットに決定してもよい。一方、他のカメラロボットで算出した被写体距離が最も短い場合、第１カメラロボット１は、自身を従カメラロボットに決定してもよい。
続いて、本開示の実施の形態１における撮像システムの動作について説明する。
図６は、本開示の実施の形態１における撮像システムの動作について説明するための第１のフローチャートであり、図７は、本開示の実施の形態１における撮像システムの動作について説明するための第２のフローチャートである。なお、図６及び図７の説明では、第１カメラロボット１が主カメラロボットであり、第２カメラロボット２及び第３カメラロボット３が従カメラロボットである。
まず、ステップＳ１において、第１カメラロボット１のカメラ１１は、周囲を撮像した撮像画像を取得する。カメラ１１は、取得した撮像画像を画像認識部１２へ出力する。
次に、ステップＳ２において、画像認識部１２は、撮像画像から１以上の被写体を検出したか否かを判断する。本実施の形態１における被写体は、人物である。ここで、撮像画像から１以上の被写体を検出していないと判断された場合（ステップＳ２でＮＯ）、ステップＳ１に処理が戻る。
一方、撮像画像から１以上の被写体を検出したと判断された場合（ステップＳ２でＹＥＳ）、ステップＳ３において、画像認識部１２は、検出した１以上の被写体の属性が子供及び大人のいずれであるかを認識する。
次に、ステップＳ４において、制御部１３は、画像認識部１２によって認識された１以上の被写体が子供のみであるか否かを判断する。
ここで、１以上の被写体が子供のみであると判断された場合（ステップＳ４でＹＥＳ）、ステップＳ５において、制御部１３は、第１動作パターンを選択する。第１動作パターンは、第１カメラロボット１、第２カメラロボット２及び第３カメラロボット３が騒ぐ状況を表現する動作パターンである。
一方、１以上の被写体が子供のみではないと判断された場合、すなわち、１以上の被写体が大人と子供とで構成されると判断された場合又は１以上の被写体が大人のみであると判断された場合（ステップＳ４でＮＯ）、ステップＳ６において、制御部１３は、第１動作パターンとは異なる第２動作パターンを選択する。第２動作パターンは、第１カメラロボット１、第２カメラロボット２及び第３カメラロボット３がおとなしくしている状況を表現する動作パターンである。
次に、ステップＳ７において、通信部１９は、制御部１３によって選択された動作パターンに従って第２カメラロボット２及び第３カメラロボット３を動作させるための動作開始指示情報を第２カメラロボット２及び第３カメラロボット３へ送信する。
次に、ステップＳ８において、制御部１３は、選択した動作パターンの動作を開始する。制御部１３は、第１動作パターンを選択した場合、第１動作パターンに対応付けられている駆動パターンに応じた制御信号を駆動部１８へ出力し、第１動作パターンに対応付けられている画像を表示部１６へ出力し、第１動作パターンに対応付けられている音をスピーカ１５へ出力する。
第１動作パターンには、例えば、上部筐体１０２を一方向に所定の角度で回転させるとともに他方向に所定の角度で回転させる動作を繰り返す駆動パターンが対応付けられている。
また、第１動作パターンには、例えば、笑った目を模した画像が対応付けられている。
図８は、本実施の形態１において、第１動作パターンが選択された場合に表示部に表示される画像の一例を示す図である。
図８に示すように、第１動作パターンが選択された場合、表示部１６は、笑った目を模した画像を表示する。
また、第１動作パターンには、例えば、子供が楽しくなるような音楽が対応付けられている。
さらに、制御部１３は、第２動作パターンを選択した場合、第２動作パターンに対応付けられている駆動パターンに応じた制御信号を駆動部１８へ出力し、第２動作パターンに対応付けられている画像を表示部１６へ出力し、第２動作パターンに対応付けられている音をスピーカ１５へ出力する。第２動作パターンには、例えば、上部筐体１０２を動作させない駆動パターンが対応付けられている。
また、第２動作パターンには、例えば、潤んだ目を模した画像が対応付けられている。
図９は、本実施の形態１において、第２動作パターンが選択された場合に表示部に表示される画像の一例を示す図である。
図９に示すように、第２動作パターンが選択された場合、表示部１６は、潤んだ目を模した画像を表示する。
また、第２動作パターンには、例えば、無音又は静かな音楽が対応付けられている。
図７に戻って、次に、ステップＳ９において、シャッター部１７は、カメラ１１による撮像画像の出力を開始する。なお、シャッター部１７は、例えば１秒毎にカメラ１１から通信部１９へ撮像画像を出力させる。通信部１９は、１秒毎にカメラ１１から取得した撮像画像をサーバ４へ送信する。なお、シャッター部１７は、選択された動作パターンに従って第１カメラロボット１が動作している間、すなわち、撮像を開始してから撮像画像内に１以上の被写体が検出されなくなるまでの間、撮像画像を出力させる。
また、ステップＳ２１において、第２カメラロボット２の通信部１９は、第１カメラロボット１によって送信された動作開始指示情報を受信する。動作開始指示情報は、第１カメラロボット１によって選択された動作パターンを特定する情報を含む。
次に、ステップＳ２２において、制御部１３は、第１カメラロボット１によって選択された動作パターンの動作を開始する。制御部１３は、第１カメラロボット１によって第１動作パターンが選択された場合、第１動作パターンに対応付けられている駆動パターンに応じた制御信号を駆動部１８へ出力し、第１動作パターンに対応付けられている画像を表示部１６へ出力し、第１動作パターンに対応付けられている音をスピーカ１５へ出力する。なお、第２カメラロボット２における第１動作パターンは、第１カメラロボット１における第１動作パターンと同じである。
また、制御部１３は、第１カメラロボット１によって第２動作パターンが選択された場合、第２動作パターンに対応付けられている駆動パターンに応じた制御信号を駆動部１８へ出力し、第２動作パターンに対応付けられている画像を表示部１６へ出力し、第２動作パターンに対応付けられている音をスピーカ１５へ出力する。なお、第２カメラロボット２における第２動作パターンは、第１カメラロボット１における第２動作パターンと同じである。
次に、ステップＳ２３において、シャッター部１７は、カメラ１１による撮像画像の出力を開始する。なお、シャッター部１７は、例えば１秒毎にカメラ１１から通信部１９へ撮像画像を出力させる。通信部１９は、１秒毎にカメラ１１から取得した撮像画像をサーバ４へ送信する。なお、シャッター部１７は、選択された動作パターンに従って第２カメラロボット２が動作している間、すなわち、撮像を開始してから撮像画像内に１以上の被写体が検出されなくなるまで（動作終了指示情報を受信するまで）の間、撮像画像を出力させる。
また、ステップＳ３１において、第３カメラロボット３の通信部１９は、第１カメラロボット１によって送信された動作開始指示情報を受信する。
なお、第３カメラロボット３によるステップＳ３１～ステップＳ３３の処理は、第２カメラロボット２によるステップＳ２１～ステップＳ２３の処理と同じである。
このように、１以上の被写体が子供のみである場合は、第１カメラロボット１、第２カメラロボット２及び第３カメラロボット３は、楽しく騒いでいる状況を作り出す。これにより、第１カメラロボット１、第２カメラロボット２及び第３カメラロボット３は、１以上の子供を楽しい気分にさせ、１以上の子供のよい表情を引き出すことができる。そして、このような楽しく騒いでいる状況において撮像画像が出力されることにより、サーバ４は、１以上の子供のよい表情の撮像画像を取得することができる。
また、１以上の被写体が子供のみではない場合は、第１カメラロボット１、第２カメラロボット２及び第３カメラロボット３は、静かな状況を作り出す。これにより、第１カメラロボット１、第２カメラロボット２及び第３カメラロボット３は、子供のみがいる場合と、大人がいる場合とで、異なる状況を作り出すことができ、１以上の子供を飽きさせないようにすることができる。
次に、ステップＳ１０において、第１カメラロボット１の画像認識部１２は、撮像画像から１以上の被写体を検出したか否かを判断する。ここで、撮像画像から１以上の被写体を検出したと判断された場合（ステップＳ１０でＹＥＳ）、ステップＳ１０の処理が繰り返され、選択した動作パターンの動作と、撮像画像の出力とが引き続き行われる。
一方、撮像画像から１以上の被写体を検出していないと判断された場合（ステップＳ１０でＮＯ）、ステップＳ１１において、通信部１９は、動作パターンに従った第２カメラロボット２及び第３カメラロボット３の動作を終了させるための動作終了指示情報を第２カメラロボット２及び第３カメラロボット３へ送信する。
次に、ステップＳ１２において、制御部１３は、選択した動作パターンの動作を終了する。
次に、ステップＳ１３において、シャッター部１７は、カメラ１１による撮像画像の出力を終了する。
また、ステップＳ２４において、第２カメラロボット２の通信部１９は、第１カメラロボット１によって送信された動作終了指示情報を受信する。
次に、ステップＳ２５において、制御部１３は、第１カメラロボット１によって選択された動作パターンの動作を終了する。
次に、ステップＳ２６において、シャッター部１７は、カメラ１１による撮像画像の出力を終了する。
また、ステップＳ３４において、第３カメラロボット３の通信部１９は、第１カメラロボット１によって送信された動作終了指示情報を受信する。
なお、第３カメラロボット３によるステップＳ３４～ステップＳ３６の処理は、第２カメラロボット２によるステップＳ２４～ステップＳ２６の処理と同じである。
以上のように、１以上の被写体の属性に基づいて第１カメラロボット１の動作パターンが選択され、選択された動作パターンに従って第１カメラロボット１及び他のロボット（第２カメラロボット２及び第３カメラロボット３）が動作し、選択された動作パターンに従って第１カメラロボット１及び他のロボット（第２カメラロボット２及び第３カメラロボット３）が動作している間、１以上の被写体を撮像した画像が出力される。
したがって、選択された動作パターンに従って複数のカメラロボット（第１カメラロボット１、第２カメラロボット２及び第３カメラロボット３）が同時に動作するので、楽しい雰囲気の空間を１以上の被写体に提供することができ、１以上の被写体のよい表情を引き出すことができる。
なお、本実施の形態１において、メモリ１４は、第１カメラロボット１の設置場所を示す設置場所情報と、第１カメラロボット１に予め設定されている性格を示す性格情報とを記憶してもよい。通信部１９は、他のカメラロボット（第２カメラロボット２及び第３カメラロボット３）の設置場所情報及び性格情報を他のロボット（第２カメラロボット２及び第３カメラロボット３）から受信してもよい。この場合、制御部１３は、第１カメラロボット１の設置場所が他のロボット（第２カメラロボット２又は第３カメラロボット３）の設置場所と同じである場合、第１カメラロボット１の性格と他のロボット（第２カメラロボット２又は第３カメラロボット３）の性格とに基づいて、選択された動作パターンの動作量を変化させてもよい。
設置場所は、例えば、リビングルームのテーブル及びリビングルームの棚などである。設置場所は、ユーザにより入力される。性格は、例えば、「騒がしい」、「普通」及び「おとなしい」の３種類である。性格は、ユーザにより入力されてもよいし、予め設定されていてもよい。相性のよい性格の組み合わせと、相性の悪い性格の組み合わせとがある。例えば、「騒がしい」と「騒がしい」との組み合わせ、「普通」と「普通」との組み合わせ及び「おとなしい」と「おとなしい」との組み合わせは、相性がよい。また、「騒がしい」と「おとなしい」との組み合わせは、相性が悪い。
制御部１３は、第１カメラロボット１と設置場所が同じであり、第１カメラロボット１と相性がよい性格が設定されている他のカメラロボットが存在する場合、選択した動作パターンにおける動作量を１０％増加させてもよい。また、制御部１３は、第１カメラロボット１と設置場所が同じであり、第１カメラロボット１と相性が悪い性格が設定されている他のカメラロボットが存在する場合、選択した動作パターンにおける動作量を１０％減少させてもよい。例えば、駆動部１８は、上部筐体１０２を旋回させる角度を１０％増加又は減少させてもよく、上部筐体１０２を旋回させる速度を１０％増加又は減少させてもよい。また、スピーカ１５は、出力する音の音量を１０％増加又は減少させてもよい。
また、本実施の形態１において、撮像システムは、端末装置をさらに備えてもよい。端末装置は、例えば、スマートフォン又はタブレット型コンピュータであり、ユーザによって使用される。サーバ４は、複数のカメラロボットによって撮像された画像を端末装置へ送信してもよい。端末装置は、サーバ４によって送信された撮像画像を受信し、受信した撮像画像を記憶及び／又は表示してもよい。
また、端末装置は、サーバ４に蓄積された複数の撮像画像のうち、ユーザが好む撮像画像の選択を受け付けてもよい。サーバ４は、ユーザによって選択された撮像画像のみを端末装置へ送信してもよい。さらに、サーバ４は、ユーザによって選択された複数の撮像画像を教師データとして学習することにより識別モデルを作成してもよい。そして、サーバ４は、複数のカメラロボットから受信した複数の撮像画像を識別モデルに入力し、識別モデルから出力される撮像画像を端末装置へ送信してもよい。これにより、ユーザが好む撮像画像を自動的に抽出することができ、ユーザが撮像画像を選択する手間を省くことができる。
（実施の形態２）
続いて、本開示の実施の形態２における撮像システムについて説明する。
本実施の形態２では、実施の形態１の第１動作パターン及び第２動作パターンに加えて、複数のカメラロボットのうちの１のカメラロボットが持ち上げられた状況を表現する第３動作パターン及び第４動作パターンが選択される。
図１０は、本開示の実施の形態２における第１カメラロボットの構成を示すブロック図である。本実施の形態２における撮像システムは、第１カメラロボット１Ａ、第２カメラロボット２Ａ、第３カメラロボット３Ａ及びサーバ４を備える。なお、第２カメラロボット２Ａ及び第３カメラロボット３Ａの構成は、第１カメラロボット１Ａの構成と同じであるので、第１カメラロボット１Ａの構成のみを説明する。本実施の形態２において、実施の形態１と同じ構成については同じ符号を付し、説明を省略する。
図１０に示す第１カメラロボット１Ａは、カメラ１１、画像認識部１２、制御部１３Ａ、メモリ１４、スピーカ１５、表示部１６、シャッター部１７、駆動部１８、通信部１９Ａ及び持ち上げセンサ２０を備える。
持ち上げセンサ２０は、第１カメラロボット１Ａが持ち上げられたことを検知する。持ち上げセンサ２０は、例えば光センサであり、下部筐体１０１の底面に設けられる。持ち上げセンサ２０は、第１カメラロボット１Ａが持ち上げられたことを検知した場合、第１検知信号を制御部１３Ａへ出力する。
また、持ち上げセンサ２０は、持ち上げられた第１カメラロボット１Ａが置かれたことを検知する。持ち上げセンサ２０は、第１カメラロボット１Ａが置かれたことを検知した場合、第２検知信号を制御部１３Ａへ出力する。
制御部１３Ａは、持ち上げセンサ２０によって第１カメラロボット１Ａが持ち上げられたことが検知された場合、持ち上げられたことに対して反応する第３動作パターンを選択する。制御部１３Ａは、持ち上げセンサ２０から第１検知信号が入力された場合、第１動作パターン又は第２動作パターンから第３動作パターンに切り替える。ことのとき、制御部１３Ａは、第１カメラロボット１Ａが持ち上げられる前に動作していた動作パターンをメモリ１４に記憶する。
また、制御部１３Ａは、持ち上げセンサ２０によって第１カメラロボット１Ａが置かれたことが検知された場合、第１カメラロボット１Ａが持ち上げられる前に動作していた動作パターンを選択する。制御部１３Ａは、持ち上げセンサ２０から第２検知信号が入力された場合、第３動作パターンから、メモリ１４に記憶されている第１カメラロボット１Ａが持ち上げられる前に動作していた動作パターンに切り替える。
通信部１９Ａは、第１カメラロボット１Ａが持ち上げられたことを示す持ち上げ情報を他のカメラロボット（第２カメラロボット２及び第３カメラロボット３）へ送信する。
また、通信部１９Ａは、持ち上げ情報を他のカメラロボット（第２カメラロボット２及び第３カメラロボット３）から受信する。制御部１３Ａは、他のカメラロボット（第２カメラロボット２及び第３カメラロボット３）からの持ち上げ情報が受信された場合、他のカメラロボット（第２カメラロボット２及び第３カメラロボット３）が持ち上げられたことに対して反応する第４動作パターンを選択する。
また、通信部１９Ａは、持ち上げられた第１カメラロボット１Ａが置かれたことを示す載置情報を他のカメラロボット（第２カメラロボット２及び第３カメラロボット３）へ送信する。載置情報は、第１カメラロボット１が持ち上げられる前に動作していた動作パターンを含む。
また、通信部１９Ａは、載置情報を他のカメラロボット（第２カメラロボット２及び第３カメラロボット３）から受信する。制御部１３Ａは、他のカメラロボット（第２カメラロボット２及び第３カメラロボット３）からの載置情報が受信された場合、他のカメラロボット（第２カメラロボット２及び第３カメラロボット３）が持ち上げられる前に動作していた動作パターンを選択する。このとき、載置情報は、他のカメラロボット（第２カメラロボット２及び第３カメラロボット３）が持ち上げられる前に動作していた動作パターンを含む。
続いて、本開示の実施の形態２における撮像システムの動作について説明する。
図１１は、本開示の実施の形態２における撮像システムの動作について説明するための第１のフローチャートであり、図１２は、本開示の実施の形態２における撮像システムの動作について説明するための第２のフローチャートであり、図１３は、本開示の実施の形態２における撮像システムの動作について説明するための第３のフローチャートであり、図１４は、本開示の実施の形態２における撮像システムの動作について説明するための第４のフローチャートである。なお、図１１～図１４の説明では、第１カメラロボット１Ａが主カメラロボットであり、第２カメラロボット２Ａ及び第３カメラロボット３Ａが従カメラロボットである。
ステップＳ１０１～ステップＳ１０９の処理は、図６及び図７のステップＳ１～ステップＳ９の処理と同じである。また、ステップＳ１３１～ステップＳ１３３の処理は、図７のステップＳ２１～ステップＳ２３の処理と同じである。また、ステップＳ１５１～ステップＳ１５３の処理は、図７のステップＳ３１～ステップＳ３３の処理と同じである。
次に、ステップＳ１１０において、第１カメラロボット１Ａの画像認識部１２は、撮像画像から１以上の被写体を検出したか否かを判断する。ここで、撮像画像から１以上の被写体を検出していないと判断された場合（ステップＳ１１０でＮＯ）、ステップＳ１２１に処理が移行する。
一方、撮像画像から１以上の被写体を検出したと判断された場合（ステップＳ１１０でＹＥＳ）、ステップＳ１１１において、制御部１３Ａは、第１カメラロボット１Ａが持ち上げられたか否かを判断する。制御部１３Ａは、持ち上げセンサ２０によって第１カメラロボット１Ａが持ち上げられたことが検知された場合、第１カメラロボット１Ａが持ち上げられたと判断する。
ここで、第１カメラロボット１Ａが持ち上げられていないと判断された場合（ステップＳ１１１でＮＯ）、ステップＳ１１０に処理が戻る。
一方、第１カメラロボット１Ａが持ち上げられたと判断された場合（ステップＳ１１１でＹＥＳ）、ステップＳ１１２において、制御部１３Ａは、現在の動作パターン、すなわち第１カメラロボット１Ａが持ち上げられる前の動作パターンをメモリ１４に記憶する。
次に、ステップＳ１１３において、制御部１３Ａは、第３動作パターンを選択する。第３動作パターンは、自身（第１カメラロボット１Ａ）が持ち上げられたことに対して反応する状況を表現する動作パターンである。
次に、ステップＳ１１４において、通信部１９Ａは、第１カメラロボット１Ａが持ち上げられたことを示す持ち上げ情報を第２カメラロボット２及び第３カメラロボット３へ送信する。
次に、ステップＳ１１５において、制御部１３Ａは、第３動作パターンの動作を開始する。制御部１３Ａは、第３動作パターンに対応付けられている駆動パターンに応じた制御信号を駆動部１８へ出力し、第３動作パターンに対応付けられている画像を表示部１６へ出力し、第３動作パターンに対応付けられている音をスピーカ１５へ出力する。
第３動作パターンには、例えば、上部筐体１０２を一方向に所定の角度で回転させるとともに他方向に所定の角度で回転させる動作を繰り返す駆動パターンが対応付けられている。
また、第３動作パターンには、例えば、嫌がる目を模した画像が対応付けられている。
図１５は、本実施の形態２において、第３動作パターンが選択された場合に表示部に表示される画像の一例を示す図である。
図１５に示すように、第３動作パターンが選択された場合、表示部１６は、嫌がる目を模した画像を表示する。
また、第３動作パターンには、例えば、ブザー音又は泣いているような音声が対応付けられている。
図１３に戻って、ステップＳ１３４において、第２カメラロボット２Ａの通信部１９Ａは、第１カメラロボット１によって送信された持ち上げ情報を受信する。
次に、ステップＳ１３５において、制御部１３Ａは、第４動作パターンを選択する。第４動作パターンは、他のカメラロボット（第１カメラロボット１Ａ）が持ち上げられたことに対して反応する状況を表現する動作パターンである。
次に、ステップＳ１３６において、制御部１３Ａは、第４動作パターンの動作を開始する。制御部１３Ａは、第４動作パターンに対応付けられている駆動パターンに応じた制御信号を駆動部１８へ出力し、第４動作パターンに対応付けられている画像を表示部１６へ出力し、第４動作パターンに対応付けられている音をスピーカ１５へ出力する。
第４動作パターンには、例えば、上部筐体１０２を一方向に所定の角度で回転させるとともに他方向に所定の角度で回転させる動作を繰り返す駆動パターンが対応付けられている。
また、第４動作パターンには、例えば、怒った目を模した画像が対応付けられている。
図１６は、本実施の形態２において、第４動作パターンが選択された場合に表示部に表示される画像の一例を示す図である。
図１６に示すように、第４動作パターンが選択された場合、表示部１６は、怒った目を模した画像を表示する。
また、第４動作パターンには、例えば、ブザー音又は怒っているような音声が対応付けられている。
図１３に戻って、ステップＳ１５４において、第３カメラロボット３Ａの通信部１９Ａは、第１カメラロボット１Ａによって送信された持ち上げ情報を受信する。
なお、第３カメラロボット３ＡによるステップＳ１５４～ステップＳ１５６の処理は、第２カメラロボット２ＡによるステップＳ１３４～ステップＳ１３６の処理と同じである。
このように、持ち上げられたカメラロボットは、嫌がるような第３動作パターンで動作し、他のカメラロボットは、怒ったような第４動作パターンで動作するので、持ち上げた人物に対してカメラロボットを置くように促すことができる。
次に、ステップＳ１１６において、第１カメラロボット１Ａの制御部１３Ａは、第１カメラロボット１Ａが持ち上げられてから所定時間が経過したか否かを判断する。ここで、第１カメラロボット１Ａが持ち上げられてから所定時間が経過したと判断された場合（ステップＳ１１６でＹＥＳ）、ステップＳ１２１へ処理が移行する。
一方、第１カメラロボット１Ａが持ち上げられてから所定時間が経過していないと判断された場合（ステップＳ１１６でＮＯ）、ステップＳ１１７において、制御部１３Ａは、第１カメラロボット１Ａが置かれたか否かを判断する。制御部１３Ａは、持ち上げセンサ２０によって第１カメラロボット１Ａが置かれたことが検知された場合、第１カメラロボット１Ａが置かれたと判断する。
ここで、第１カメラロボット１Ａが置かれていないと判断された場合（ステップＳ１１７でＮＯ）、ステップＳ１１６へ処理が戻る。
一方、第１カメラロボット１Ａが置かれたと判断された場合（ステップＳ１１７でＹＥＳ）、ステップＳ１１８において、制御部１３Ａは、第１カメラロボット１Ａが持ち上げられる前の動作パターンを選択する。制御部１３Ａは、第１カメラロボット１Ａが持ち上げられる前の動作パターンをメモリ１４から読み出す。
次に、ステップＳ１１９において、通信部１９Ａは、第１カメラロボット１Ａが置かれたことを示す載置情報を第２カメラロボット２及び第３カメラロボット３へ送信する。なお、載置情報は、第１カメラロボット１Ａが持ち上げられる前の動作パターンを特定する情報を含む。
次に、ステップＳ１２０において、制御部１３Ａは、第１カメラロボット１Ａが持ち上げられる前の動作パターンの動作を開始する。第１カメラロボット１Ａが持ち上げられる前の動作パターンが第１動作パターンであった場合、制御部１３Ａは、第１動作パターンの動作を開始する。また、第１カメラロボット１Ａが持ち上げられる前の動作パターンが第２動作パターンであった場合、制御部１３Ａは、第２動作パターンの動作を開始する。そして、第１カメラロボット１Ａが持ち上げられる前の動作パターンの動作が開始された後、ステップＳ１１０に処理が戻る。
また、ステップＳ１３７において、第２カメラロボット２Ａの通信部１９Ａは、第１カメラロボット１Ａによって送信された載置情報を受信する。
次に、ステップＳ１３８において、制御部１３Ａは、第１カメラロボット１Ａが持ち上げられる前の動作パターンの動作を開始する。第１カメラロボット１Ａが持ち上げられる前の動作パターンは、載置情報に含まれている。なお、第２カメラロボット２Ａの制御部１３Ａは、第４動作パターンの動作を開始する前に、第１カメラロボット１Ａが持ち上げられる前の動作パターンをメモリ１４に記憶してもよい。
また、ステップＳ１５７において、第３カメラロボット３Ａの通信部１９Ａは、第１カメラロボット１Ａによって送信された載置情報を受信する。
なお、第３カメラロボット３ＡによるステップＳ１５７～ステップＳ１５８の処理は、第２カメラロボット２ＡによるステップＳ１３７～ステップＳ１３８の処理と同じである。
ステップＳ１１０で撮像画像から１以上の被写体を検出していないと判断された場合（ステップＳ１１０でＮＯ）、又はステップＳ１１６で第１カメラロボット１Ａが持ち上げられてから所定時間が経過したと判断された場合（ステップＳ１１６でＹＥＳ）、ステップＳ１２１において、通信部１９Ａは、動作パターンに従った第２カメラロボット２Ａ及び第３カメラロボット３Ａの動作を終了させるための動作終了指示情報を第２カメラロボット２Ａ及び第３カメラロボット３Ａへ送信する。
なお、ステップＳ１２１～ステップＳ１２３の処理は、図７のステップＳ１１～ステップＳ１３の処理と同じである。また、ステップＳ１３９～ステップＳ１４１の処理は、図７のステップＳ２４～ステップＳ２６の処理と同じである。また、ステップＳ１５９～ステップＳ１６１の処理は、図７のステップＳ３４～ステップＳ３６の処理と同じである。
以上のように、第１カメラロボット１Ａが持ち上げられたことが検知された場合、持ち上げられたことに対して反応する第３の動作パターンが選択され、第３の動作パターンに従って第１カメラロボット１Ａが動作する。したがって、例えば、嫌がるような第３動作パターンで第１カメラロボット１Ａが動作することにより、持ち上げた人物に対して第１カメラロボット１Ａを置くように促すことができる。また、１以上の被写体は、意図的に第１カメラロボット１Ａを持ち上げることにより、第１動作パターン及び第２動作パターンとは異なる第３動作パターンによる第１カメラロボット１Ａの動作を楽しむことができる。
（実施の形態３）
続いて、本開示の実施の形態３における撮像システムについて説明する。
本実施の形態３では、実施の形態１の第１動作パターン及び第２動作パターンに加えて、複数のカメラロボットが音楽のリズムに合わせて音をスピーカから出力する状況を表現する第５動作パターンが選択される。
図１７は、本開示の実施の形態３における第１カメラロボットの構成を示すブロック図である。本実施の形態３における撮像システムは、第１カメラロボット１Ｂ、第２カメラロボット２Ｂ、第３カメラロボット３Ｂ及びサーバ４を備える。なお、第２カメラロボット２Ｂ及び第３カメラロボット３Ｂの構成は、第１カメラロボット１Ｂの構成と同じであるので、第１カメラロボット１Ｂの構成のみを説明する。本実施の形態３において、実施の形態１と同じ構成については同じ符号を付し、説明を省略する。
図１７に示す第１カメラロボット１Ｂは、カメラ１１、画像認識部１２、制御部１３Ｂ、メモリ１４、スピーカ１５、表示部１６、シャッター部１７、駆動部１８、通信部１９Ｂ、集音部２１及び音楽認識部２２を備える。
集音部２１は、例えばマイクロフォンであり、周囲の音を収集する。
音楽認識部２２は、集音部２１によって収集された音が音楽であることを認識する。なお、収集された音が音楽であることを認識する技術は、公知技術である。例えば、収集された音から曲名を特定する技術がある。音楽認識部２２は、収集された音から曲名を特定した場合、収集された音が音楽であると認識してもよい。
制御部１３Ｂは、音楽認識部２２によって認識された音楽のリズムに合わせて音をスピーカ１５から出力する第５動作パターンを選択する。
通信部１９Ｂは、制御部１３Ｂによって選択された第５動作パターンに従って他のカメラロボット（第２カメラロボット２Ｂ及び第３カメラロボット３Ｂ）を動作させるための音楽開始指示情報を他のカメラロボット（第２カメラロボット２Ｂ及び第３カメラロボット３Ｂ）へ送信する。
また、通信部１９Ｂは、他のカメラロボット（第２カメラロボット２Ｂ又は第３カメラロボット３Ｂ）によって選択された第５動作パターンに従って第１カメラロボット１Ｂを動作させるための音楽開始指示情報を他のカメラロボット（第２カメラロボット２Ｂ又は第３カメラロボット３Ｂ）から受信する。制御部１３Ｂは、通信部１９Ｂによって受信された音楽開始指示情報に含まれる第５動作パターンに従って第１カメラロボット１Ｂを動作させる。
また、通信部１９Ｂは、第１カメラロボット１Ｂが音楽の認識を終了したことを示す音楽終了指示情報を他のカメラロボット（第２カメラロボット２Ｂ及び第３カメラロボット３Ｂ）へ送信する。音楽終了指示情報は、第１カメラロボット１Ｂが音楽を認識する前に動作していた動作パターンを含む。
また、通信部１９Ｂは、音楽終了指示情報を他のカメラロボット（第２カメラロボット２Ｂ及び第３カメラロボット３Ｂ）から受信する。制御部１３Ｂは、他のカメラロボット（第２カメラロボット２Ｂ及び第３カメラロボット３Ｂ）からの音楽終了指示情報が受信された場合、他のカメラロボット（第２カメラロボット２Ｂ及び第３カメラロボット３Ｂ）が音楽を認識する前に動作していた動作パターンを選択する。このとき、音楽終了指示情報は、他のカメラロボット（第２カメラロボット２Ｂ及び第３カメラロボット３Ｂ）が音楽を認識する前に動作していた動作パターンを含む。
続いて、本開示の実施の形態３における撮像システムの動作について説明する。
図１８は、本開示の実施の形態３における撮像システムの動作について説明するための第１のフローチャートであり、図１９は、本開示の実施の形態３における撮像システムの動作について説明するための第２のフローチャートであり、図２０は、本開示の実施の形態３における撮像システムの動作について説明するための第３のフローチャートであり、図２１は、本開示の実施の形態３における撮像システムの動作について説明するための第４のフローチャートである。なお、図１８～図２１の説明では、第１カメラロボット１Ｂが主カメラロボットであり、第２カメラロボット２Ｂ及び第３カメラロボット３Ｂが従カメラロボットである。
ステップＳ２０１～ステップＳ２０９の処理は、図６及び図７のステップＳ１～ステップＳ９の処理と同じである。また、ステップＳ２３１～ステップＳ２３３の処理は、図７のステップＳ２１～ステップＳ２３の処理と同じである。また、ステップＳ２５１～ステップＳ２５３の処理は、図７のステップＳ３１～ステップＳ３３の処理と同じである。
次に、ステップＳ２１０において、第１カメラロボット１Ｂの画像認識部１２は、撮像画像から１以上の被写体を検出したか否かを判断する。ここで、撮像画像から１以上の被写体を検出していないと判断された場合（ステップＳ２１０でＮＯ）、ステップＳ２２１に処理が移行する。
一方、撮像画像から１以上の被写体を検出したと判断された場合（ステップＳ２１０でＹＥＳ）、ステップＳ２１１において、集音部２１は、周囲の音を収集する。
次に、ステップＳ２１２において、制御部１３Ｂは、集音部２１によって収集された音が音楽であるか否かを判断する。制御部１３Ｂは、音楽認識部２２によって収集された音が音楽であると認識された場合、収集された音が音楽であると判断する。音楽は、歌及び楽器により演奏される曲を含む。また、音楽は、１以上の被写体により歌われたり、テレビ、ラジオ又はスマートフォンなどから出力されたりする。
ここで、収集された音が音楽ではないと判断された場合（ステップＳ２１２でＮＯ）、ステップＳ２１０に処理が戻る。
一方、収集された音が音楽であると判断された場合（ステップＳ２１２でＹＥＳ）、ステップＳ２１３において、制御部１３Ｂは、現在の動作パターン、すなわち音楽が認識される前の動作パターンをメモリ１４に記憶する。
次に、ステップＳ２１４において、制御部１３Ｂは、第５動作パターンを選択する。第５動作パターンは、認識された音楽のリズムに合わせて音をスピーカ１５から出力する動作パターンである。例えば、制御部１３Ｂは、音楽のリズムに同期させて太鼓又は笛などの楽器の音をスピーカ１５から出力する。
次に、ステップＳ２１５において、通信部１９Ｂは、制御部１３Ｂによって選択された第５動作パターンに従って第２カメラロボット２及び第３カメラロボット３を動作させるための音楽開始指示情報を第２カメラロボット２及び第３カメラロボット３へ送信する。
次に、ステップＳ２１６において、制御部１３Ｂは、選択した第５動作パターンの動作を開始する。制御部１３Ｂは、音楽のリズムに同期させた駆動パターンに応じた制御信号を駆動部１８へ出力し、第５動作パターンに対応付けられている画像を表示部１６へ出力し、第５動作パターンに対応付けられている音を音楽のリズムに同期させてスピーカ１５へ出力する。
第５動作パターンには、例えば、上部筐体１０２を一方向に所定の角度で回転させるとともに他方向に所定の角度で回転させる動作を、音楽のリズムに同期させて繰り返す駆動パターンが対応付けられている。また、第５動作パターンには、例えば、図８に示す笑った目を模した画像が対応付けられている。また、第５動作パターンには、例えば、太鼓又は笛などの楽器の音が対応付けられている。
また、ステップＳ２３４において、第２カメラロボット２Ｂの通信部１９Ｂは、第１カメラロボット１によって送信された音楽開始指示情報を受信する。
次に、ステップＳ２３５において、制御部１３Ｂは、第５動作パターンを選択する。なお、第２カメラロボット２Ｂにおける第５動作パターンは、第１カメラロボット１Ｂにおける第５動作パターンと同じである。
次に、ステップＳ２３６において、制御部１３Ｂは、第５動作パターンの動作を開始する。制御部１３Ｂは、第５動作パターンに対応付けられている駆動パターンに応じた制御信号を駆動部１８へ出力し、第５動作パターンに対応付けられている画像を表示部１６へ出力し、第５動作パターンに対応付けられている音を音楽のリズムに同期させてスピーカ１５へ出力する。
また、ステップＳ２５４において、第３カメラロボット３Ｂの通信部１９Ｂは、第１カメラロボット１Ｂによって送信された音楽開始指示情報を受信する。
なお、第３カメラロボット３ＢによるステップＳ２５４～ステップＳ２５６の処理は、第２カメラロボット２ＢによるステップＳ２３４～ステップＳ２３６の処理と同じである。
このように、複数のカメラロボットは、周囲で流れている音楽に合わせて音を出力するので、周囲を楽しい雰囲気にし、１以上の被写体からよい表情を引き出すことができる。
次に、ステップＳ２１７において、第１カメラロボット１Ｂの制御部１３Ｂは、音楽が終了したか否かを判断する。制御部１３Ｂは、音楽認識部２２によって収集された音が音楽ではないと認識された場合、音楽が終了したと判断する。ここで、音楽が終了していないと判断された場合（ステップＳ２１７でＮＯ）、ステップＳ２１７の判断処理が繰り返される。
一方、音楽が終了したと判断された場合（ステップＳ２１７でＹＥＳ）、ステップＳ２１８において、制御部１３Ｂは、音楽が認識される前の動作パターンを選択する。制御部１３Ｂは、音楽が認識される前の動作パターンをメモリ１４から読み出す。
次に、ステップＳ２１９において、通信部１９Ｂは、第５動作パターンに従った第２カメラロボット２及び第３カメラロボット３の動作を終了させるための音楽終了指示情報を第２カメラロボット２及び第３カメラロボット３へ送信する。なお、音楽終了指示情報は、音楽が認識される前の動作パターンを特定する情報を含む。
次に、ステップＳ２２０において、制御部１３Ｂは、音楽が認識される前の動作パターンの動作を開始する。音楽が認識される前の動作パターンが第１動作パターンであった場合、制御部１３Ｂは、第１動作パターンの動作を開始する。また、音楽が認識される前の動作パターンが第２動作パターンであった場合、制御部１３Ｂは、第２動作パターンの動作を開始する。そして、音楽が認識される前の動作パターンの動作が開始された後、ステップＳ２１０に処理が戻る。
また、ステップＳ２３７において、第２カメラロボット２Ｂの通信部１９Ｂは、第１カメラロボット１Ｂによって送信された音楽終了指示情報を受信する。
次に、ステップＳ２３８において、制御部１３Ｂは、音楽が認識される前の動作パターンの動作を開始する。音楽が認識される前の動作パターンは、音楽終了指示情報に含まれている。なお、第２カメラロボット２Ｂの制御部１３Ｂは、第５動作パターンの動作を開始する前に、音楽が認識される前の動作パターンをメモリ１４に記憶してもよい。
また、ステップＳ２５７において、第３カメラロボット３Ｂの通信部１９Ｂは、第１カメラロボット１Ｂによって送信された音楽終了指示情報を受信する。
なお、第３カメラロボット３ＢによるステップＳ２５７～ステップＳ２５８の処理は、第２カメラロボット２ＢによるステップＳ２３７～ステップＳ２３８の処理と同じである。
また、ステップＳ２１０で撮像画像から１以上の被写体を検出していないと判断された場合（ステップＳ２１０でＮＯ）、ステップＳ２２１において、通信部１９Ｂは、動作パターンに従った第２カメラロボット２Ａ及び第３カメラロボット３Ａの動作を終了させるための動作終了指示情報を第２カメラロボット２Ａ及び第３カメラロボット３Ａへ送信する。
なお、ステップＳ２２１～ステップＳ２２３の処理は、図７のステップＳ１１～ステップＳ１３の処理と同じである。また、ステップＳ２３９～ステップＳ２４１の処理は、図７のステップＳ２４～ステップＳ２６の処理と同じである。また、ステップＳ２５９～ステップＳ２６１の処理は、図７のステップＳ３４～ステップＳ３６の処理と同じである。
以上のように、収集された音が音楽であることが認識された場合、認識された音楽のリズムに合わせて音がスピーカ１５から出力されるので、楽しい雰囲気の空間を１以上の被写体に提供することができ、１以上の被写体のよい表情を引き出すことができる。
なお、本実施の形態３において、音楽認識部２２は、１以上の被写体が歌う歌を取得し、取得した歌の曲名を特定してもよい。そして、制御部１３Ｂは、音楽認識部２２によって特定された曲名に対応する音楽を、通信部１９Ｂを介してサーバ４から取得し、取得した音楽をスピーカ１５から出力してもよい。
また、サーバ４が音楽認識部２２を備えてもよい。この場合、通信部１９Ｂは、収集された音をサーバ４へ送信し、サーバ４による認識結果を受信してもよい。
また、本実施の形態１～３において、カメラ１１の被写体の良い表情を引き出すということはロボット周辺の人々を楽しませるということと等価である。そのため、カメラ機能が搭載されていないロボットにも実施の形態１～３の機能は適用可能である。
また、第１カメラロボット、第２カメラロボット及び第３カメラロボットは、テレビ又はタブレット型コンピュータから映像と共に出力される音に応じた動作を実行してもよい。この場合、第１カメラロボット、第２カメラロボット及び第３カメラロボットは、テレビ又はタブレット型コンピュータから映像と共に出力される音を取得する集音部と、集音部によって取得された音を認識する音認識部とをさらに備えてもよい。音認識部は、人物の会話の内容を認識してもよい。制御部は、認識された会話の途中で簡単な音声をスピーカ１５から出力させてもよい。例えば、制御部は、会話の間に挟む短い言葉を音声としてスピーカ１５から出力させてもよい。
また、音認識部は、人物の音声の内容を認識してもよい。制御部は、認識された音声に応じた感情と同じ感情を表す音声をスピーカ１５から出力させてもよい。例えば、制御部は、コメディ番組などにおける笑い声が認識された場合、笑い声をスピーカ１５から出力させてもよい。また、制御部は、音量又は音数に合わせて動きの量を変化させてもよい。例えば、制御部は、爆発音又は騒がしい音が認識された場合、音量に応じて動作量を大きくしてもよい。また、制御部は、音楽に合わせて動きの量を変化させてもよい。例えば、制御部は、音楽が認識された場合、音楽のテンポに合わせて動作させてもよい。
このように、第１カメラロボット、第２カメラロボット及び第３カメラロボットが、テレビ又はタブレット型コンピュータに出力される映像及び音声に反応して動作する。これにより、ユーザの映像体験をより楽しいものにすることができる。
また、第１カメラロボット、第２カメラロボット及び第３カメラロボットは、端末からＳＮＳ（Ｓｏｃｉａｌ Ｎｅｔｗｏｒｋｉｎｇ Ｓｅｒｖｉｃｅ）サイトに文字が投稿された場合、投稿された文字に応じた動作を実行してもよい。この場合、第１カメラロボット、第２カメラロボット及び第３カメラロボットは、端末からＳＮＳサイトに投稿された文字を、端末又はＳＮＳサイトから受信する通信部と、受信された文字を認識する文字認識部とをさらに備えてもよい。制御部は、認識された文字に応じた音声をスピーカ１５から出力させてもよい。なお、制御部は、認識された文字に応じて異なる音声をスピーカ１５から出力させてもよい。
また、第１カメラロボット、第２カメラロボット及び第３カメラロボットは、端末からＥＣ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｍｍｅｒｃｅ）サイトで商品が購入された場合、購入された商品に応じた動作を実行してもよい。この場合、第１カメラロボット、第２カメラロボット及び第３カメラロボットは、端末からＥＣサイトで購入した商品に関する情報を、端末又はＥＣサイトから受信する通信部をさらに備えてもよい。制御部は、受信された商品に関する情報に応じた音声をスピーカ１５から出力させてもよい。なお、制御部は、商品の金額に応じて異なる音声をスピーカ１５から出力させてもよい。
このように、第１カメラロボット、第２カメラロボット及び第３カメラロボットが、インターネット上におけるユーザの行為に反応して動作する。これにより、第１カメラロボット、第２カメラロボット及び第３カメラロボットがインターネットの世界とリアルな世界とをつなぎ、ユーザの生活をより楽しいものにすることができる。
また、第１カメラロボット、第２カメラロボット及び第３カメラロボットは、匂い、明るさ又は空気質の変化に応じた動作を実行してもよい。この場合、第１カメラロボット、第２カメラロボット及び第３カメラロボットは、匂いセンサ、明るさセンサ又はほこりセンサをさらに備えてもよい。匂いセンサは、周囲の匂い成分を検出する。制御部は、検出された匂い成分に予め対応付けられている表情を示す画像を表示部１６に表示させ、検出された匂い成分に予め対応付けられている駆動パターンに応じて本体１００の一部を駆動部１８に駆動させてもよい。なお、制御部は、匂い成分に応じて異なる動作を実行してもよい。例えば、制御部は、夕飯の匂いに対し、嬉しい表情を示す画像を表示部１６に表示させてもよい。また、ほこりセンサは、周囲のほこりの量を検知する。制御部は、検出されたほこりの量に予め対応付けられている表情を示す画像を表示部１６に表示させてもよい。なお、制御部は、ほこりの量に応じて異なる動作を実行してもよい。
これにより、周囲の匂い、明るさ又は空気質の変化に反応して、ユーザの生活をより楽しいものにしたり、ユーザの生活を補助したりすることができる。
また、第１カメラロボット、第２カメラロボット及び第３カメラロボットは、家電機器の動作の変化に応じた動作を実行してもよい。この場合、第１カメラロボット、第２カメラロボット及び第３カメラロボットは、所定の動作が完了したことを示す動作完了信号を家電機器から受信する通信部をさらに備えてもよい。制御部は、動作完了信号が受信された場合、所定の音をスピーカ１５から出力させてもよい。例えば、制御部は、調理が完了したことを示す動作完了信号が電子レンジから受信された場合、調理が完了したことを通知する音声をスピーカ１５から出力させてもよい。また、例えば、制御部は、コーヒーのドリップが完了したことを示す動作完了信号がコーヒーメーカから受信された場合、コーヒーのドリップが完了したことを通知する音声をスピーカ１５から出力させてもよい。
このように、第１カメラロボット、第２カメラロボット及び第３カメラロボットが家電機器と連携して動作するので、家電機器を用いたユーザの生活をより楽しいものにすることができる。
なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
本開示の実施の形態に係る装置の機能の一部又は全ては典型的には集積回路であるＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）として実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
また、本開示の実施の形態に係る装置の機能の一部又は全てを、ＣＰＵ等のプロセッサがプログラムを実行することにより実現してもよい。
また、上記で用いた数字は、全て本開示を具体的に説明するために例示するものであり、本開示は例示された数字に制限されない。
また、上記フローチャートに示す各ステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、同様の効果が得られる範囲で上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。
本開示に係る技術は、楽しい雰囲気の空間を１以上の被写体に提供することができ、１以上の被写体のよい表情を引き出すことができるので、他のロボットとともに動作して１以上の被写体を撮像する技術として有用である。

Claims (10)

  1. 他のロボットとともに動作して１以上の被写体を撮像するロボットであって、
    周囲を撮像する撮像部と、
    撮像画像内から１以上の被写体を検出する検出部と、
    検出された前記１以上の被写体の属性に基づいて前記ロボットの動作パターンを選択する選択部と、
    選択された前記動作パターンに従って前記他のロボットを動作させるための指示情報を前記他のロボットへ送信する送信部と、
    選択された前記動作パターンに従って前記ロボットを動作させる動作部と、
    選択された前記動作パターンに従って前記ロボット及び前記他のロボットが動作している間、前記１以上の被写体を撮像した画像を出力する出力部と、
    を備えるロボット。
  2. 検出された前記１以上の被写体が子供及び大人のいずれであるかを認識する被写体認識部をさらに備え、
    前記選択部は、検出された前記１以上の被写体が子供のみである場合、第１の動作パターンを選択し、検出された前記１以上の被写体が子供のみではない場合、前記第１の動作パターンよりも前記ロボットの動作量が少ない第２の動作パターンを選択する、
    請求項１記載のロボット。
  3. 前記ロボットが持ち上げられたことを検知するセンサをさらに備え、
    前記選択部は、前記ロボットが持ち上げられたことが検知された場合、持ち上げられたことに対して反応する第３の動作パターンを選択し、
    前記送信部は、前記ロボットが持ち上げられたことを示す持ち上げ情報を前記他のロボットへ送信する、
    請求項１又は２記載のロボット。
  4. 前記持ち上げ情報を前記他のロボットから受信する受信部をさらに備え、
    前記選択部は、前記他のロボットからの前記持ち上げ情報が受信された場合、前記他のロボットが持ち上げられたことに対して反応する第４の動作パターンを選択する、
    請求項３記載のロボット。
  5. 前記センサは、持ち上げられた前記ロボットが置かれたことを検知し、
    前記選択部は、前記ロボットが置かれたことが検知された場合、前記ロボットが持ち上げられる前に動作していた動作パターンを選択する、
    請求項３又は４記載のロボット。
  6. 周囲の音を収集する集音部と、
    収集された前記音が音楽であることを認識する音楽認識部と、
    スピーカと、
    をさらに備え、
    前記選択部は、認識された前記音楽のリズムに合わせて音を前記スピーカから出力する第５の動作パターンを選択する、
    請求項１～５のいずれか１項に記載のロボット。
  7. 前記ロボットの設置場所を示す設置場所情報と、前記ロボットに予め設定されている性格を示す性格情報とを記憶する記憶部と、
    前記他のロボットの前記設置場所情報及び前記性格情報を前記他のロボットから受信する受信部と、
    をさらに備え、
    前記動作部は、前記ロボットの前記設置場所が前記他のロボットの前記設置場所と同じである場合、前記ロボットの前記性格と前記他のロボットの前記性格とに基づいて、選択された前記動作パターンの動作量を変化させる、
    請求項１～６のいずれか１項に記載のロボット。
  8. 前記ロボットの本体に形成された表示部と、
    前記本体に形成されたスピーカと、
    前記本体の一部を駆動する駆動部と、
    をさらに備え、
    前記動作部は、選択された前記動作パターンに従って、所定の表情を示す画像を前記表示部に表示させ、所定の音を前記スピーカから出力させ、所定の駆動パターンに応じて前記本体の一部を前記駆動部に駆動させる、
    請求項１～７のいずれか１項に記載のロボット。
  9. 他のロボットとともに動作して１以上の被写体を撮像するロボットにおける制御処理方法であって、
    周囲を撮像し、
    撮像画像内から１以上の被写体を検出し、
    検出された前記１以上の被写体の属性に基づいて前記ロボットの動作パターンを選択し、
    選択された前記動作パターンに従って前記他のロボットを動作させるための指示情報を前記他のロボットへ送信し、
    選択された前記動作パターンに従って前記ロボットを動作させ、
    選択された前記動作パターンに従って前記ロボット及び前記他のロボットが動作している間、前記１以上の被写体を撮像した画像を出力する、
    制御処理方法。
  10. 他のロボットとともに動作して１以上の被写体をロボットに撮像させるための制御処理プログラムであって、
    周囲を撮像する撮像部と、
    撮像画像内から１以上の被写体を検出する検出部と、
    検出された前記１以上の被写体の属性に基づいて前記ロボットの動作パターンを選択する選択部と、
    選択された前記動作パターンに従って前記他のロボットを動作させるための指示情報を前記他のロボットへ送信する送信部と、
    選択された前記動作パターンに従って前記ロボットを動作させる動作部と、
    選択された前記動作パターンに従って前記ロボット及び前記他のロボットが動作している間、前記１以上の被写体を撮像した画像を出力する出力部としてコンピュータを機能させる、
    制御処理プログラム。
JP2021552119A 2019-10-16 2020-08-19 ロボット、制御処理方法及び制御処理プログラム Active JP7403552B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023208699A JP2024025810A (ja) 2019-10-16 2023-12-11 制御装置、制御方法及び制御プログラム

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962915858P 2019-10-16 2019-10-16
US62/915,858 2019-10-16
JP2019231304 2019-12-23
JP2019231304 2019-12-23
PCT/JP2020/031335 WO2021075144A1 (ja) 2019-10-16 2020-08-19 ロボット、制御処理方法及び制御処理プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023208699A Division JP2024025810A (ja) 2019-10-16 2023-12-11 制御装置、制御方法及び制御プログラム

Publications (2)

Publication Number Publication Date
JPWO2021075144A1 JPWO2021075144A1 (ja) 2021-04-22
JP7403552B2 true JP7403552B2 (ja) 2023-12-22

Family

ID=75537802

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021552119A Active JP7403552B2 (ja) 2019-10-16 2020-08-19 ロボット、制御処理方法及び制御処理プログラム
JP2023208699A Pending JP2024025810A (ja) 2019-10-16 2023-12-11 制御装置、制御方法及び制御プログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023208699A Pending JP2024025810A (ja) 2019-10-16 2023-12-11 制御装置、制御方法及び制御プログラム

Country Status (4)

Country Link
US (1) US11991437B2 (ja)
JP (2) JP7403552B2 (ja)
CN (1) CN114303365A (ja)
WO (1) WO2021075144A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016068262A1 (ja) 2014-10-29 2016-05-06 京セラ株式会社 コミュニケーションロボット
WO2018047900A1 (ja) 2016-09-09 2018-03-15 Ｇｒｏｏｖｅ Ｘ株式会社 ゲストを受け入れる自律行動型ロボット
JP2019150893A (ja) 2018-02-28 2019-09-12 シャープ株式会社 ロボット制御システム、ロボット制御方法およびロボット制御プログラム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001334482A (ja) * 2000-03-24 2001-12-04 Sony Corp ロボット装置及びロボット装置の行動決定方法
JP2002185837A (ja) 2000-12-18 2002-06-28 Oyo Keisoku Kenkyusho:Kk ロボットカメラ装置
JP2005328461A (ja) * 2004-05-17 2005-11-24 Nippon Telegr & Teleph Corp <Ntt> テレビ会議装置及び多地点テレビ会議システム
KR20090103078A (ko) * 2008-03-27 2009-10-01 인제대학교 산학협력단 휴대폰 합체 로봇 및 원격 제어 방법
CN102483559B (zh) * 2009-12-28 2016-01-13 株式会社尼康 摄影装置
JP2012175487A (ja) * 2011-02-23 2012-09-10 Brother Ind Ltd 会議端末、会議システム、会議方法、及び会議プログラム
JP6481866B2 (ja) * 2014-01-28 2019-03-13 ソニー株式会社 情報処理装置、撮像装置、情報処理方法、及び、プログラム
JP2015186020A (ja) * 2014-03-24 2015-10-22 オリンパス株式会社 表示機器、撮影機器及び表示方法
JP6432290B2 (ja) * 2014-11-07 2018-12-05 カシオ計算機株式会社 撮像装置、撮像制御方法、及びプログラム
KR101736134B1 (ko) * 2014-11-14 2017-05-16 이창길 행동블록을 이용한 로봇 구동 시스템 및 그 방법
US9724824B1 (en) * 2015-07-08 2017-08-08 Sprint Communications Company L.P. Sensor use and analysis for dynamic update of interaction in a social robot
US20180353869A1 (en) * 2015-12-17 2018-12-13 Lyrebird Interactive Holdings Pty Ltd Apparatus and method for an interactive entertainment media device
CN106131393A (zh) * 2016-06-15 2016-11-16 北京小米移动软件有限公司 拍照提示方法及装置
DE102016221578B3 (de) * 2016-11-03 2018-03-29 Sivantos Pte. Ltd. Verfahren zur Takterkennung mittels eines Hörgerätes
WO2018098968A1 (zh) * 2016-11-30 2018-06-07 华为技术有限公司 一种拍照方法、装置及终端设备
JP7109207B2 (ja) * 2018-02-23 2022-07-29 パナソニックホールディングス株式会社 相互作用装置、相互作用方法、相互作用プログラム及びロボット

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016068262A1 (ja) 2014-10-29 2016-05-06 京セラ株式会社 コミュニケーションロボット
WO2018047900A1 (ja) 2016-09-09 2018-03-15 Ｇｒｏｏｖｅ Ｘ株式会社 ゲストを受け入れる自律行動型ロボット
JP2019150893A (ja) 2018-02-28 2019-09-12 シャープ株式会社 ロボット制御システム、ロボット制御方法およびロボット制御プログラム

Also Published As

Publication number Publication date
WO2021075144A1 (ja) 2021-04-22
CN114303365A (zh) 2022-04-08
US20220182533A1 (en) 2022-06-09
US11991437B2 (en) 2024-05-21
JP2024025810A (ja) 2024-02-26
JPWO2021075144A1 (ja) 2021-04-22

Similar Documents

Publication Publication Date Title
JP6888096B2 (ja) ロボット、サーバおよびヒューマン・マシン・インタラクション方法
US10713006B2 (en) Image display apparatus, topic selection method, topic selection program, image display method, and image display program
US9539506B2 (en) System and method for playsets using tracked objects and corresponding virtual worlds
US8622831B2 (en) Responsive cutscenes in video games
JP7254772B2 (ja) ロボットインタラクションのための方法及びデバイス
US8601379B2 (en) Methods for interactive communications with real time effects and avatar environment interaction
JP5819856B2 (ja) モーション・キャプチャー・システムにおけるユーザー意図の認識
KR102655147B1 (ko) 상호작용 애니메이션 캐릭터 헤드 시스템 및 방법
CN105141587B (zh) 一种虚拟玩偶互动方法及装置
JPWO2016068262A1 (ja) コミュニケーションロボット
JP2020039029A (ja) 動画配信システム、動画配信方法、及び動画配信プログラム
CN107000210A (zh) 用于提供持久伙伴装置的设备和方法
JP2022093479A (ja) 情報処理装置、情報処理方法、およびプログラム
CN109521927A (zh) 机器人互动方法和设备
CN112262024A (zh) 用于增强数字体验的动态机器人配置的系统和方法
JP2020202575A (ja) 動画配信システム、動画配信方法、及び動画配信プログラム
JP7403552B2 (ja) ロボット、制御処理方法及び制御処理プログラム
JPWO2020095368A1 (ja) 情報処理システム、表示方法およびコンピュータプログラム
JP2018186326A (ja) ロボット装置及びプログラム
JP6647711B2 (ja) ビデオチャットロボットシステム、手渡し遊び制御方法および手渡し遊び制御プログラム
US20220321772A1 (en) Camera Control Method and Apparatus, and Terminal Device
US11615715B2 (en) Systems and methods to improve brushing behavior
US20230218984A1 (en) Methods and systems for interactive gaming platform scene generation utilizing captured visual data and artificial intelligence-generated environment
CN112508161A (zh) 陪伴数字替身的控制方法、系统和存储介质
JP2022178967A (ja) 撮像システム、カメラロボット及びサーバ

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230615

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231121

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231212

R150 Certificate of patent or registration of utility model

Ref document number: 7403552

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150