JP3913186B2

JP3913186B2 - 移動撮影機器

Info

Publication number: JP3913186B2
Application number: JP2003090184A
Authority: JP
Inventors: 大介山本; 卓吉見; 薫鈴木; 信人松日楽
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2003-03-28
Filing date: 2003-03-28
Publication date: 2007-05-09
Anticipated expiration: 2023-03-28
Also published as: JP2004297675A

Description

【０００１】
【発明の属する技術分野】
本発明は、カメラなどの画像撮影機能を持つ移動撮影機器、例えば、カメラを備えた自律移動ロボットのように、カメラ雲台のパン・チルトやズームのみならず、自らが移動することによりカメラ位置を変えることで、被写体がカメラ視野内に収まるように自動調整し、また周囲の障害物が入らない位置や逆光にならない位置への移動することで、撮影に適したアングルを決定することが可能な移動撮影機器に関する。
【０００２】
【従来の技術】
特開平７−１５４６６６号公報（特許文献１）では、被写体の動きに追従してカメラを回転制御するパン・チルト制御を行うビデオカメラが提案されている。また、特開平９−１４９３１１号公報（特許文献２）では、オートズーム機能と手動によるズーム調整を組み合わせた撮像装置が提案されている。また、特開２０００−２４４８００公報（特許文献３）では、入力情報から構図情報を取り出し、構図パターンの候補から撮影場面に合った構図パターンを選択し、構図パターンに適合するようパン・チルト・ズームを制御することにより背景を含めた構図を自動的に決定し最適な構図で撮影したり、被写体に対して指示を出し、移動させることで適切な構図を作る撮像装置が提案されている。
【０００３】
これらの技術を用いて、被写体が移動しても自動追尾して常時撮像画面に映すことができ、被写体が遠ざかったり近づいたりしても一定の大きさを保持して撮像画面に映すことができる。手動のズームと組み合わせて撮影者が画角を変更することもできる。また、背景を含めた構図設定を自動的に決定することもできる。
【０００４】
また、撮影者が自分を含めた画像を取る場合において、特開平８−６１２６号公報（特許文献４）では、リモコンからの位置信号により撮像範囲を指示し、自由に画面（フレーム）を動かすことを可能とする撮影装置が提案されている。
【０００５】
また、テレビジョンカメラの制御装置としては、一定の決められた画角になるように雲台制御を行うテレビジョンカメラリモートコントロールシステムが知られている。
【０００６】
【特許文献１】
特開平７−１５４６６６号公報（第１−１０頁、第１図）
【特許文献２】
特開平９−１４９３１１号公報（第１−９頁、第１図）
【特許文献３】
特開２０００−２４４８００公報（第１−８頁、第１図）
【特許文献４】
特開平８−６１２６号公報（第１−７頁、第１図）
【０００７】
【発明が解決しようとする課題】
上述の従来技術においては、被写体に近すぎて被写体全体が視野内に入らない問題、あるいは被写体が遠すぎて充分ズームできない問題、被写体とカメラの間に障害物が入っていて被写体が視野に入らない問題、逆光になり被写体が撮影できない問題があった。
【０００８】
また、被写体がパン・チルト・ズームをもって画角調整しても撮影できない位置にある場合、被写体を撮影できないという問題があった。
【０００９】
さらに、撮影者が自分を含めた画像を撮影する場合においても、カメラのパン・チルト・ズームで適切な構図を作れない場合には、被写体（撮影者を含む）を移動させる必要があるといった問題があった。
【００１０】
【課題を解決するための手段】
上記問題を解決するために、本発明では、画像を撮影可能な撮影手段と、この撮影手段により撮影される画像の画角を調整する画角調整手段と、この画角調整手段を制御する画角調整制御手段と、前記撮影手段を移動可能にする移動手段と、この移動手段を制御する移動制御手段と、撮影したい被写体を指定する被写体指定手段と、前記撮影手段により撮影された画像において、前記被写体指定手段により指定された被写体が適切に撮影されているか否かを判定する判定手段と、前記移動手段により移動可能な範囲を特定可能な地図情報を記録した地図情報記録手段と、前記地図情報に基づいて前記撮影手段の位置を検出する位置検出手段と、前記地図情報に基づいて前記被写体の位置を推定する位置推定手段と、前記位置検出手段により検出された前記撮影手段の位置と、前記被写体位置推定手段により推定された前記被写体の位置から、該被写体を撮影するのに適切な撮影手段の位置を推定する適切撮影位置推定手段と、この適切撮影位置推定手段により推定された位置への移動経路を生成する移動経路生成手段とを備え、前記画角調整制御手段及び前記移動制御手段は、前記判定手段により前記被写体が適切に撮影されていないと判定された場合、該被写体を適切に撮影できるように、前記画角調整手段と前記移動手段を制御し、前記移動制御手段は、前記移動経路生成手段により生成された移動経路に沿って前記移動手段を制御し、前記適切撮影位置推定手段は、前記被写体を撮影可能な候補範囲を算出した後、その候補範囲と前記移動手段により移動可能な範囲から、適切な撮影手段の位置を推定する移動撮影機器を提供する。
【００１２】
【発明の実施の形態】
以下、本発明に係る移動撮影機器の実施の形態について、図面を参照しつつ詳細に説明する。
（第1の実施形態）
本発明の第１の実施形態として、自律移動ロボットへの適用例を示す。本実施形態では、カメラのついた自律移動ロボットが、カメラ雲台のパン・チルトやズームのみならず、カメラ位置（被写体との距離、高さ）を移動することで、撮影部により得られる画像において、被写体をカメラ範囲に収めるよう自動調整する。
【００１３】
本実施形態の構成について、図１及び図２を用いて説明する。
【００１４】
図１は本実施形態に係る自律移動ロボットの機能ブロック図、図２はその構成図である。本実施形態にかかる自律移動ロボットは、図２の構成図に示すように、撮影部（撮影手段）１と、雲台・ズーム機構（画角調整手段）２と、移動機構（移動手段）３とを備えている。さらに、本実施形態にかかる自律移動ロボットは、図1の機能ブロック図に示すように、撮影したい被写体を指定する被写体指定部４と、その指定された被写体の情報を記憶する被写体記憶部５と、画像を取得する撮影部１と、取得した画像を処理する画像処理部６と、処理された画像と記憶されている被写体の画像を照合し、照合された画像の大きさ、ズレなどから、取得した画像が適切な画像であるか否かを判定する画像判定部（判定手段）７と、撮影部１のパン・チルト・ズーム等を行なう雲台・ズーム機構（画角調整手段）２と、撮影部１の移動を行なう移動機構（移動手段）３と、雲台・ズーム機構２及び移動機構（移動手段）３の制御量を算出する制御量演算部８と、制御量演算部８により算出された結果に基づき、雲台・ズーム機構２を制御する雲台・ズームコントローラ部（画角調整制御手段）９と、移動機構３と、を制御する移動コントローラ部（移動制御手段）１０と、から構成されている。制御量演算部８は、雲台・ズームコントローラ部９と、移動コントローラ部１０の内部にそれぞれ設けられても良い。
【００１５】
本実施形態におけるアングル決定動作について、図３に示すフローチャートを用いて説明する。
【００１６】
まず、被写体指定部４を用いて被写体を指定する（Ｓ１）。その指定方法は、例えば、まず被写体を確実に含むように広い範囲を撮影し、その撮影した画像の中から、被写体の含まれる範囲を指定する方法や、予め被写体の画像を取得しておき、その画像を指定する方法等による。
【００１７】
次に、被写体の探索を行う（Ｓ２）。探索方法は、まず雲台・ズーム機構２を用い、撮影部（カメラ）１の画角を動かし撮影する。そして、撮影部１で得られた画像を処理し、指定した被写体画像との照合を行なうことで、撮影した画像における被写体の探索を行なう。
【００１８】
探索は、被写体が見つかるまで繰り返し行なわれ（Ｓ３）、被写体が見つかれば、その画像が適切な画像であるかを判定する（Ｓ４）。その方法は、まず、色マーカを用いた色認識、形状パターンを利用したパターン認識、あらかじめ入力されている被写体画像を利用したマスク認識などを用いて、画像において被写体の占める範囲を特定する。次に、被写体が画面に適切に収まっているかを判定する。これは撮影画像内の被写体の占める面積、パターン認識の場合には適合度、色マーカの場合には複数のマーカが入っているか等の判定基準を用いる。判定の結果、被写体の画像が適切であればアングル決定動作を終了し、適切でなければ判定結果に応じた制御動作を行なう。
【００１９】
まず、画像に占める被写体の割合が広すぎるかもしくは狭すぎるかを判定し（Ｓ５）、そのいずれかと判定された場合（Ｓ５のＹｅｓ）は、まずズームにより画角を調整し（Ｓ６）、ズームでも調整しきれない場合には、移動機構３を用いて前後へ移動することで画角の調整を行なう（Ｓ７）。
【００２０】
また、被写体の画像に占める割合が適切と判定された場合（Ｓ５のＮｏ）は、次に被写体の一部が欠けている場合や被写体を遮る障害物等がある場合に該当するか否かの判定を行なう（Ｓ８）。該当すると判定された場合（Ｓ８のＹｅｓ）には、まずパン・チルトにより画角の調整を行い（Ｓ９）、それでも被写体が欠けている、あるいは遮られている場合には、移動機構３を用いて左右への移動を行い画角の調整を行なう（Ｓ１０）。
【００２１】
以上の動作を繰返し、被写体が最も適切に入る画角を探索し、アングルを決定する。
【００２２】
図４は、上記したアングル決定動作を模式的に示したものである。図４（Ａ）では、最初に撮影した画像から、被写体の一部が障害物に遮られていると判定され、移動部により左右方向に移動して、適切な画角を探索した後、再度撮影が行なわれている。また、図４（Ｂ）では、最初に撮影した画像から、被写体の占める領域が広すぎると判定され、移動部により前後方向に移動して、適切な画角を探索した後、再度撮影が行なわれている。
（第２の実施形態）
次に、本発明の第２の実施形態として、自律移動ロボットへの適用例を示す。本実施形態では、カメラのついた自律移動ロボットが、カメラ雲台のパン・チルトやズームのみならず、カメラ位置（被写体との距離、高さ）を移動することで、撮影部により得られる画像において、被写体をカメラ範囲に収めるよう自動調整する。その移動の際には、周辺の地図情報を利用し、被写体を写すのに適した候補地点を算出して移動する。
【００２３】
本実施形態と上記した第１の実施形態との違いは、被写体が画像に適切に収まっていない場合の移動に際して、第１の実施形態では、被写体の大きさや被写体の撮影状況のみから、移動方向を決定し移動するのに対し、本実施形態では、被写体の大きさから地図上での被写体の位置を推定（被写体を妨げる障害物がある場合には、その障害物の位置も推定）し、地図上の移動可能範囲と照合し、被写体を適切に撮影できる候補地点を推定することで、自律移動ロボットが動けない位置への移動や移動しても撮影できないといった問題を解決する点にある。
【００２４】
図５は、本実施形態に係る自律移動ロボットの機能ブロック図である。なお、本図において、図１に示した部分と同様の機能を有する部分については、同一の符号を用いている。また、本実施形態にかかる自律移動ロボットも図２の構成図に示すように、撮影部（撮影手段）１と、雲台・ズーム機構（画角調整手段）２と、移動機構（移動手段）３とを備えている。図５の機能ブロック図に示すように、本実施形態にかかる自律移動ロボットは、撮影したい被写体を指定する被写体指定部４と、その指定された被写体の情報を記憶する被写体記憶部５と、画像を取得する撮影部１と、取得した画像を処理する画像処理部６と、処理された画像と記憶されている被写体の画像を照合し、照合された画像の大きさ、ズレなどから、取得した画像が適切な画像であるか否かを判定する画像判定部（判定手段）７と、撮影部１のパン・チルト・ズーム等を行なう雲台・ズーム機構（画角調整手段）２と、撮影部１の移動を行なう移動機構（移動手段）３と、雲台・ズーム機構２及び移動機構３の制御量を算出する制御量演算部８と、この制御量演算部８により算出された結果に基づき、雲台・ズーム機構２を制御する雲台・ズームコントローラ部（画角調整制御手段）９と、移動機構３を制御する移動コントローラ部（移動制御手段）１０と、移動ロボット周囲の移動可能範囲や、被写体の存在しうる場所を示す地図情報を記憶した地図情報記憶部手段１１と、地図上での移動ロボットの位置を検出する自己位置検出部（位置検出手段）１２と、検出された自己位置と撮影された画像の処理結果から、被写体の地図上での位置や、被写体を撮影するのを妨げる障害物の位置を推定する被写体・障害物位置推定部（位置推定手段）１３と、地図情報１１と自己位置と被写体・障害物推定位置から、被写体を適切に撮影できる位置を算出する適切撮影位置推定部（適切撮影位置推定手段）１４と、算出された適切撮影位置へ移動するための移動経路を生成し、制御量演算部８に制御量を出力する移動経路生成部（移動経路生成手段）１５と、から構成される。なお、制御量演算部８は、雲台・ズームコントローラ部９と、移動コントローラ部１０の内部にそれぞれ設けられても良い。
【００２５】
本実施形態におけるアングル決定動作について、図６に示すフローチャートを用いて説明する。
【００２６】
まず、被写体指定部４を用いて被写体を指定する（Ｓ１１）。その指定方法は、例えば、まず被写体を確実に含むように広い範囲を撮影し、その撮影した画像の中から、被写体の含まれる範囲を選択する方法や、予め被写体の画像を取得しておき、その画像を指定する方法等による。
【００２７】
次に被写体の探索を行なう（Ｓ１２）。探索方法は、まず、雲台・ズーム機構２を用い、撮影部（カメラ）１の画角を動かし撮影する。次に、撮影部１で得られた画像を処理し、指定した被写体画像との照合を行なうことで、撮影した画像における被写体の探索を行なう。
【００２８】
探索は、被写体が見つかるまで繰り返し行なわれ（Ｓ１３）、被写体が見つかれば、その画像が適切な画像であるかを判定する（Ｓ１４）。その方法は、まず、色マーカを用いた色認識、形状パターンを利用したパターン認識、あらかじめ入力されている被写体画像を利用したマスク認識などを用いて、被写体の占める範囲を特定する。次に、被写体が適切に収まっているかを判定する。これは撮影画像内の被写体の占める面積、パターン認識の場合には適合度、色マーカの場合には複数のマーカが入っているか等の判定基準を用いる。
【００２９】
判定の結果、被写体の画像に占める割合が広すぎるかもしくは狭すぎる場合には、まずズームにより画角を調整する。また、被写体の一部が欠けている場合には、パン・チルトを用いて、画角の調整を行う。以上の調整でも適切な画像が取得できない場合（Ｓ１４のＮｏ）に、地図情報を用いた適切撮影位置への移動を行い、撮影する。
【００３０】
地図情報を用いた適切撮影位置への移動方法は、まず現在の自律移動ロボットの自己位置を検出する（Ｓ１５）。その方法としては、一般に移動ロボットで行われているオドメトリを利用したものや、各種マーカを利用した三角測量による方法などを用いる。
【００３１】
次に、算出された自己位置、現在の画角、及び取得されている画像より、被写体が存在するであろう範囲を推定する（Ｓ１６）。さらに、被写体の実寸が既知のものであれば、ズーム値と取得画像中の被写体の占める面積などから、位置が限定される。被写体の実寸が未知のものでも、地図情報を用いれば、ある程度の位置が推定される。また、被写体を遮る障害物があれば、その障害物の位置も、被写体と同様の方法を用いて推定する（Ｓ１６）。
【００３２】
次に、自律移動ロボットの自己位置と被写体・障害物の推定位置から、被写体を適切に撮影可能な撮影位置の候補地点を算出する（Ｓ１７）。最後に、その候補地点へ移動するための移動経路を、周辺地図から生成し（Ｓ１８）、その移動経路に沿って候補地点に移動し（Ｓ１９）、再度、被写体の探索を開始する。
【００３３】
以上の動作を繰返し、被写体が最も適切に入る画角を探索し、アングルを決定する。
【００３４】
図７、図８は、上記したアングル決定動作を模式的に示したものである。まず、図７（Ａ）に示すように、被写体を特定して撮影を行い、被写体の画像が適切でないと判定された場合、図７（Ｂ）に示すように、自律移動ロボットの自己位置検出結果とその画角から、被写体の位置が推定される。そして、図８（Ａ）に示すように適切撮影位置の候補地点が決定され（図では２箇所）、いずれかの候補地点（図では候補始地点１）に移動した後、再度撮影が行なわれている。
（第３の実施形態）
次に、本発明の第３の実施形態として、移動監視ロボットへの適用例を示す。移動監視ロボットでは、監視対象（被写体）を撮影するための撮影地点を決定する際に、移動可能範囲と障害物になりうる物体の位置や高さが記述された地図情報を利用し、監視対象を指示すると、移動監視ロボットのカメラ位置の高さ・障害物の高さ・カメラの画角情報から、幾何的計算に基づき、被写体を撮影可能な候補範囲を算出する。かかる候補範囲を算出した後、その候補範囲と地図に示されたロボットの移動可能範囲から、移動可能な候補地点を推定する点が、第２の実施形態と異なる。
【００３５】
候補地点が決定された後は、移動経路の生成を行い、その候補地点に移動し、監視対象を撮影する。また、監視対象を撮影した際に、逆光や予期せぬ障害物などにより、監視対象を適切に撮影できていない場合には、本発明の第１の実施形態を適用するか、もしくは、先に算出された候補地点が複数存在する場合には、別候補地点へ移動し、再度撮影を試みる。
【００３６】
図９は、第３の実施形態を模式的に示したものである。地点Ａにいた移動監視ロボットは、監視対象が指示されると地図情報を利用してその監視対照を撮影可能な候補範囲を算出し、かかる候補範囲と自身の移動可能範囲とから、移動可能な候補地点Ｂを算出し、移動する。
【００３７】
上記した各実施形態は、例えば記念撮影をする自律移動ロボットへの適用が考えられる。写真やビデオ撮影において、撮影者が写れないという問題を解決するために、ロボットが、被写体の位置、部屋のマップ情報から、被写体全体を画像内に収められる位置に移動する。
【００３８】
そして、顔画像やマーカ等を利用して、被写体全体が収まるよう、雲台・ズーム機構によりパン・チルト・ズーム等のカメラ位置を微調整し撮影する。また、カメラに収まっている画像をディスプレイに表示しユーザの指示（音声など）により、移動、パン・チルト・ズーム等の微調整することも可能である。
【００３９】
また、上記した本実施形態中では被写体として人物画像を取り扱ったが、本発明はその場合に限られない。例えば、家庭内で留守番時に稼動する自律移動ロボットが、部屋の中の鍵やスイッチなどを撮影する際に、影にならないように、上記実施形態で示した方法で画像を撮影することが可能である。
【００４０】
【発明の効果】
以上説明したように、本発明では、撮影手段自体の位置や高さを変更する移動手段を持つことで、従来のパン・チルト・ズームでは対応できない位置にある被写体や障害物に隠れた被写体を、自動的に撮影することが可能となる。
【００４１】
また、その移動手段を活用し、地図上で被写体を指定するだけで、自動的に移動撮影機器が移動、撮影することが可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る自律移動ロボットの機能ブロック図。
【図２】本発明の第１の実施形態に係る自律移動ロボットの構成図。
【図３】本発明の第１の実施形態におけるアングル決定動作を説明するためのフローチャート。
【図４】本発明の第１の実施形態に係る自律移動ロボットのアングル決定動作を示す模式図。
【図５】本発明の第２の実施形態に係る自律移動ロボットの機能ブロック図。
【図６】本発明の第２の実施形態におけるアングル決定動作を説明するためのフローチャート。
【図７】本発明の第２の実施形態に係る自律移動ロボットのアングル決定動作を示す模式図。
【図８】本発明の第２の実施形態に係る自律移動ロボットのアングル決定動作を示す模式図。
【図９】本発明の第３の実施形態に係る移動監視ロボットの移動動作を示す模式図。
【符号の説明】
１撮影部
２雲台・ズーム機構
３移動機構
４被写体指定部
５被写体記憶部
６画像処理部
７画像照合部
８制御量演算
９雲台・ズームコントローラ部
１０移動コントローラ
１１地図情報
１２自己位置検出部
１３被写体・障害物位置推定
１４適切撮影位置推定部
１５移動経路生成部

Claims

画像を撮影可能な撮影手段と、
この撮影手段により撮影される画像の画角を調整する画角調整手段と、
この画角調整手段を制御する画角調整制御手段と、
前記撮影手段を移動可能にする移動手段と、
この移動手段を制御する移動制御手段と、
撮影したい被写体を指定する被写体指定手段と、
前記撮影手段により撮影された画像において、前記被写体指定手段により指定された被写体が適切に撮影されているか否かを判定する判定手段と、
前記移動手段により移動可能な範囲を特定可能な地図情報を記録した地図情報記録手段と、
前記地図情報に基づいて前記撮影手段の位置を検出する位置検出手段と、
前記地図情報に基づいて前記被写体の位置を推定する位置推定手段と、
前記位置検出手段により検出された前記撮影手段の位置と、前記被写体位置推定手段により推定された前記被写体の位置から、該被写体を撮影するのに適切な撮影手段の位置を推定する適切撮影位置推定手段と、
この適切撮影位置推定手段により推定された位置への移動経路を生成する移動経路生成手段とを備え、
前記画角調整制御手段及び前記移動制御手段は、前記判定手段により前記被写体が適切に撮影されていないと判定された場合、該被写体を適切に撮影できるように、前記画角調整手段と前記移動手段を制御し、
前記移動制御手段は、前記移動経路生成手段により生成された移動経路に沿って前記移動手段を制御し、
前記適切撮影位置推定手段は、前記被写体を撮影可能な候補範囲を算出した後、その候補範囲と前記移動手段により移動可能な範囲から、適切な撮影手段の位置を推定することを特徴とする移動撮影機器。
前記位置推定手段は、前記被写体の撮影を妨げる障害物の位置をも推定可能であることを特徴とする請求項２または３のいずれか一項に記載の移動撮影機器。