JP5998338B2 - 映像表示システム - Google Patents

Description

本発明は、熟練者の技術の伝承、特に熟練者による農作業機具や農作業車両の操作・運転技術の伝承を効率的に行うための映像表示システムに関する。

例えば、農業の分野においては、農水省が認定した“匠”や“篤農家”と呼称される優れた技術を有する人々が存在し、そのような人々は高い品質の農作物を収穫できるとともに、高い生産性を実現している。そのような人々がこのような農作物の高生産、高品質を実現できるのは、播種から収穫まで若しくはそれらの計画立案を含め、経験知として各々の個人が体験した知識の集大成を活用しているからである。

例えば、農作業器具の操作技術、トラクタやコンバインなどの農作業車両の運転技術は農業の生産性に大きく影響する。しかし、従来、農作業機具の操作技術や農作業車両の運転技術の効率的な訓練や伝承を実現する技術は存在しなかった。一般的には優秀な熟練者による操作や運転の様子を徒弟が見て、体験してみて身につけていくことが多い。近年はビデオカメラで撮影し教材として用いることが始まってはいるものの、農作業機具や農作業車両の操作・運転技術などの効率的な伝承という点では十分ではない。

また、主観的映像と客観的映像を組み合わせて提示した教材や、計測された数値類と操作装置類の状況などとともに重点ポイントを解説した教材、作業者のレベルによらない教材といったものは無く、効率的な伝承という点では十分ではない。
一方、被写体を３次元の各方向から撮影して３次元映像を構成することにより、現実感のあるシミュレーションを行う技術が提案されている（特許文献１）。

特開平４−２７０５９１号公報

農業の分野において、特許文献１に示された先行技術を用いることで、３次元の映像を得ることはできるが、このような先行技術を農業の分野に適用したとしても、上記先行技術は農作業機具や農作業車両の操作者・運転者の視点のみから映像を構成するため、外部からの客観的な視点での映像を得ることはできない。また、農作業機具の操作や農作業車両の運転では、機具や車両の操作状態など各計器の計測値を知ることが重要であるが、それを再現することはできない。更に、操作の目的や動機などについて解説されないため、理解に不十分であり、かつ記憶に残りにくい。また、上記の先行技術では作業者のレベルに応じた複数の映像を用意しなけれればならなく、このため、作業者のレベルを測定し、その測定レベルに応じた適切な映像を提供する仕組みが必要となるという欠点がある。

このような課題を解決するために本発明は、特定人の作業を所定の撮影位置から撮影する複数の撮影装置と、前記特定人の作業を撮影した複数の映像を蓄積する記憶装置と、前記映像を表示する表示装置と、前記複数の映像を、前記各映像を同期するためのタイムスタンプ情報と、前記映像の再生形式を変える制御を行う制御情報とともに前記記憶装置に蓄積する蓄積制御部と、前記各映像を、前記表示装置の各分割領域に対応付け、前記タイムスタンプ情報および前記制御情報に基づいて再生する再生制御部とを備え、前記特定人は農業の熟練者であり、前記映像は当該熟練者による農作業器具の操作技術または農作業車両の運転技術を表す映像であり、前記特定人の作業を撮影した撮影位置のうちの１つは、前記熟練者により農作業器具の操作もしくは農作業車両の運転が行われる圃場の近傍であることを特徴とする。

この場合、再生制御部は、再生した各撮影装置の各撮影映像を表示装置の各分割領域に表示する・
また、複数の撮影装置は前記タイムスタンプ情報を生成する計時手段を有し、各撮影装置の計時手段は互いに同期し、再生制御部は、記憶装置の各映像を前記タイムスタンプ情報にしたがい、同期させて再生する。

また、予め前記撮影装置により撮影され表示装置に表示中の映像に対し熟練者により重要の旨が指示されると、蓄積制御部はこの映像のズーム及び再生速度を含む再生形式を変える制御を行う制御情報を前記指示映像に対応づけて前記記憶装置に蓄積し、再生制御部は前記制御情報に対応する映像の少なくとも拡大再生およびスローモーション再生の１つを行う。

ここで、予め撮影装置により撮影され表示装置に表示中の映像に対し前記熟練者によりコメントが与えられると、蓄積制御部はこのコメントをコメント情報として前記表示中の映像に対応づけて記憶装置に蓄積し、再生制御部は、記憶装置に蓄積された前記コメント情報を再生するとこのコメント情報を表示制御部に前記各映像が表示されている表示装置の各分割領域以外の領域に表示させる。

ここで、圃場近傍に配置された撮影装置は、農作業器具または農作業車両が前記圃場内の所定の地点にさしかかると追尾動作を行う。
また、撮影装置は、農作業器具または農作業車両の動きの重点箇所がより正確に撮影できるように、撮影方向、撮影速度およびズームの制御を行う。

なお、撮影装置は、前記圃場の上空から農作業器具の操作状況または農作業車両の運転状況を撮影する撮影装置および前記熟練者の視線の方向から農作業器具の操作状況または農作業車両の運転状況を撮影する撮影装置を含むこともできる。

熟練者の技術を表す該熟練者の作業状況、特に熟練者による農作業機具の操作状況や農作業車両の運転状況など、熟練者の技術を表す作業状況の映像を、表示装置に複数の映像として同時に表示することにより、その操作・運転技術の習得や、初心者へのアドバイスなど、農作業機具や農作業車両の操作・運転技術の伝承を効率的に行うことができる。

本発明に係る映像表示システムの構成を示す図である。 上記システムを農業分野に適用した場合の状況を示す図であり、圃場での熟練者のコンバインを用いた農作物の収穫作業をカメラで撮影する状況を示す図である。 前記圃場のコーナにおける熟練者のコンバインを用いた農作物の収穫作業をカメラで撮影する状況を示す図である。 前記圃場での熟練者のコンバインを用いた農作物の収穫作業を上空のカメラから撮影する状況を示す図である。 上記システムを構成する表示装置の表示状況を示す図である。 上記システムを構成する各ビデオカメラの撮影映像の出力タイミングを示す図である。 上記表示装置の他の表示状況を示す図である。

以下、図面を参照して本発明の実施の形態を説明する。
図１は本発明に係る映像表示システムの構成を示す図である。本映像表示システムは、農業分野に適用可能なものであり、例えば圃場近傍の各地点に設置され圃場内での熟練者による例えば農作業機具や農作業車両を用いた農作物の収穫作業などを撮影する複数のビデオカメラ（撮影装置）１Ａ〜１Ｎと、ビデオカメラ１Ａ〜１Ｎの撮影を制御する制御装置２と、複数のビデオカメラ１Ａ〜１Ｎにより撮影された映像を蓄積する記憶装置３と、記憶装置３に記憶された複数のビデオカメラ１Ａ〜１Ｎの撮影による映像を表示する表示装置４と、音声出力装置５と、操作部６とから構成される。なお、制御装置２は、蓄積制御部２１と、再生制御部２２と、編集制御部２３とから構成される。

本発明では、まず、圃場における農作業機具や農作業車両などの動作を予め机上で確認する。そして、その農作業機具や農作業車両などの動作の重点箇所を事前に確認し、その重点箇所が正確に撮影できるようにビデオカメラの各設置地点を決める。また、複数の視点でその重点箇所を確認できるように複数のビデオカメラを設置する。また、重点箇所でのビデオカメラの動作（ズーム、撮影方向、撮影速度等）を予め設定する。

図２はこのようなビデオカメラの配置状況を示す図であり、圃場３０のコーナー近傍にビデオカメラ１Ａ，１Ｂが設置され、、圃場３０のコーナー以外の該圃場３０の近傍にはビデオカメラ１Ｃ，１Ｄが設置され、さらに、農作業機具や農作業車両であるコンバイン５０のキャビン頭上にはビデオカメラ１Ｅが設置されるとともに、コンバイン５０を操縦する熟練者にはアイメガネカメラ１Ｆが設置され、さらに、圃場３０を上空から撮影するためにヘリコプターなどに取り付けられたヘリカメラ１Ｇが設置されている。なお、これらのカメラは必要に応じて取捨選択して設置される。

こうしたビデオカメラなどの撮影装置は、後ほどの映像の編集時にそれぞれの装置で撮影された映像の時刻同期がとれるように、各々の撮影装置の計時手段の時刻合わせが行われてその時刻からそれぞれ計時が開始される。そして、撮影時にはその撮影時刻がタイムスタンプ情報としてその撮影映像に対応して付加され、蓄積制御部２１によりその撮影映像とともに記憶装置３に蓄積される。

以上のような事前設定が行われた後、熟練者により操作・運転されるコンバイン５０が、図２に示すように、圃場３０への進入を開始し、コンバイン５０による農作物の収穫作業が行われると、農作業機具や農作業車両などの動作の重点箇所、すなわちコンバイン５０の動作の重点箇所が正確に撮影できるように各ビデオカメラによる撮影が開始される。そして、撮影映像はタイムスタンプ情報に関連づけて蓄積制御部２１によりそのタイムスタンプ情報とともに記憶装置３に蓄積される。

ここで、図３に示すように、コンバイン５０が圃場３０のコーナにさしかかりコンバイン５０による農作物の収穫作業が行われると、圃場３０に設置された例えばビデオカメラ１Ｃはこれを認識して追尾動作を行う。そして、自身に設定してあるズーム、撮影方向および撮影速度にしたがった動作を行う。すなわち、ビデオカメラ１Ｃは、被写体である前記コンバイン５０の動作の重点箇所へ撮影方向を切り替えるとともに、撮影速度を遅くかつズームアップなどの撮影形式を変える制御を行う。こうした撮影方向の切り替えや撮影速度およびズームの制御を行って撮影された映像についても、そのタイムスタンプ情報とともに蓄積制御部２１により記憶装置３に蓄積される。

このように、圃場に設置されたビデオカメラ１Ｃは、コンバイン５０による農作物の収穫作業が圃場３０のコーナで行われる場合には、それへの移動追尾、即ちそれへの自動追尾を行うとともに、試写体であるコンバイン５０の動きの重点箇所がより正確に撮影できるように、撮影方向の切り替えや撮影速度およびズームの制御を行って撮影しその撮影映像をタイムスタンプ情報とともに蓄積制御部２１により記憶装置３に蓄積する。

さらに、コンバイン５０とともに圃場３０をヘリカメラ１Ｇから撮影した図４に示すような映像もタイムスタンプ情報とともに蓄積制御部２１により記憶装置３に蓄積される。

このようにして、各ビデオカメラ１Ａ〜１Ｎで撮影し記憶装置３に記憶した映像は、編集者の操作部６の操作に基づき制御装置２内の編集制御部２３において以下のように編集される（第１の編集）。すなわち、各ビデオカメラ１Ａ〜１Ｎで撮影し記憶装置３に記憶した映像はタイムテーブル（タイムスタンプ情報）で管理され、これら撮影映像の中から表示装置４で表示する映像が取捨選択される。また、表示装置４の画面をいくつに分割するか、さらには分割した各表示領域にどの映像を割り当てるのか（表示画面割当情報）が決定される。なお、撮影された複数の映像で記録された音声についてはその活用方法により取捨選択し、音声出力装置５を用いて音量などを調整する。

制御装置２内の編集制御部２３により以上のように編集された映像および音声は、そのタイムスタンプ情報やその表示画面割当情報と対応づけて、制御装置２内の蓄積制御部２１により記憶装置３に蓄積される。

そして、操作部６において前記編集映像の再生操作が行われると、制御装置２内の再生制御部２２はこれを検出して記憶装置３内の各映像を、タイムスタンプ情報に基づき同期再生し、この再生情報を上記再生画面割当情報をもとに、図５に示す表示装置４内の対応の各表示領域４１〜４４に表示する。そして、記憶装置４内に前記映像に対応する音声が記憶されていれば音声出力装置５からその対応の音声を出力させる。

図６は本映像表示システムの映像編集後における各映像の再生状況を示す図である。
ここで、図６（ａ）はヘリカメラ１Ｇの撮影画像を再生した再生画像の出力状況、図６（ｂ）はコンバイン５０のキャビン頭上カメラ１Ｅの撮影画像を再生した再生画像の出力状況、、図６（ｃ）はコンバイン５０の圃場３０への進入開始時或いは圃場３０のコーナーでの収穫作業時等に追尾カメラとして動作し、それ以外は固定カメラとして動作する固定設置カメラ１Ｃ又は１Ｄの撮影画像を再生した再生画像の出力状況、図６（ｄ）はコンバイン５０を操作・運転する熟練者のアイメガネカメラ１Ｆの撮影画像を再生した再生画像の出力状況をそれぞれ示している。

また、図５は表示装置４の画面分割状況を示す図である。図５では、表示装置４の表示画面を４分割し、第１表示領域４１にはヘリカメラ１Ｇの撮影画像を再生した再生画像が表示され、第２表示領域４２にはコンバイン５０のキャビン頭上カメラ１Ｅの撮影画像を再生した再生画像が表示される。また、第３表示領域４３には上記したように追尾カメラに切り替えることが可能な固定設置カメラ１Ｃ又は１Ｄの撮影画像を再生した再生画像が表示され、第４表示領域４４には熟練者のアイメガネカメラ１Ｆの撮影画像を再生した再生画像が表示される。

こうして表示装置４に表示された再生映像は、前記熟練者によりチェックされ、前記熟練者はその再生映像の中で自身の技術の伝承に重要な部分を指定する。この場合、編集制御部２３は、編集者の前記操作部６の操作をもとに、前記熟練者が重要と指定した映像の指定部分に対応して、この映像の指定部分のズームや再生速度などの再生形式を変える制御を行う制御コード（制御情報）を設定する。そして、編集制御部２３によって制御コードが対応づけられて設定された映像は重要映像として蓄積制御部２１により記憶装置３に対応の前記制御コードとともに蓄積される。また、その際に、前記熟練者からその映像についてコメントがあると、そのコメント情報も前記映像に関連づけて蓄積制御部２１により記憶装置３に記憶される。なお、このような熟練者の重要指定に基づく映像の編集（第２の編集）は前記第１の編集時に行っても良い。

次に、以上のように編集された映像の再生動作について説明する。操作部６において映像の再生操作が行われると、再生制御部２２はこれを検出して記憶装置３に蓄積されている各映像を、そのタイムスタンプ情報と同期して再生する。そして、この再生情報を上記再生画面割当情報をもとに、表示装置４内の対応の各表示領域４１〜４４に表示するとともに、対応して音声が記憶装置３に記憶されていればこの音声を音声出力装置５から出力させる。

このような映像の再生中に、前述の制御コードが対応づけられて設定された映像があれば（即ち、制御コードに対応した映像があれば）、再生制御部２２はその映像を重要映像としてその映像のズーム、再生方向および再生速度などの再生形式を変える制御を行い、その映像を表示装置４に表示する。これにより、表示装置４には熟練者が自身の技術の伝承に重要と指定する映像の拡大表示、かつスローモーション表示などの表示が行われる。

このように、本実施の形態では、熟練者が自身の技術の伝承に重要と指定する映像の拡大表示やスローモーション表示等を行うことができる。したがって、熟練者の技術を受け継ごうとする人々は、熟練者のコンバイン５０の操作・運転に基づくコンバイン５０の動作の重要点を容易に認識して、その操作・運転技術を習得できることから、熟練者の農作業機具や農作業車両の操作・運転技術の伝承を効率的に行うことができる。

なお、再生制御部２２は、映像の再生中にその映像に関連づけられたコメント情報があればこのコメント情報を表示装置４のテロップ（スーパー）表示領域４５に表示させる。これにより、熟練者の技術を受け継ごうとする人々は、同様に、熟練者のコンバイン５０の操作・運転に基づくコンバイン５０の動作の重要点を容易に認識して、その操作・運転技術を習得できることから、熟練者の農作業機具や農作業車両の操作・運転技術の伝承を効率的に行うことができる。

ここで、本映像表示システムでは、コンバイン５０の各計器の計測値についても撮影することができ、こうした計測値も表示装置４のテロップ（スーパー）表示領域４５に表示される。さらに、優秀な熟練者などによって作成した解説をコメントとして記憶装置３に蓄積し、表示装置４のテロップ（スーパー）表示領域４５に表示させることもできる。

また、本映像表示システムでは、撮影され記憶装置３に蓄積された映像や計測値を一つの表示画面に表示させるように編集することもできる。

なお、本映像表示システムでは、位置情報測定装置（ＧＰＳ等）を当該車両に設置し、他のビデオカメラなどと時刻を同期させ、当該車両の移動軌跡を記録するようにしてもよい。

また、農作業機具や農作業車両などの操作状況を、当該機具や車両などに設置された計測機器により計測し、計測値を時刻（タイムスタンプ）とともに蓄積してもよい。なお、農作業機具や農作業車両などの操作状況としては、例えば、「舵取り装置の状況」、「エンジンの回転数」、「速度」、「ギアの状況」、「各種操作レバー類の状況」、「操作者や運転者などの生体情報」、「操作者や運転者などの姿勢」および「加速度センサによる傾斜角」などがある。

また、前記重点箇所に関する映像を再生するときには、コメントを重畳的に表示させてもよい。
また、前記重点箇所における再生方法の変化では、ある１つの映像を他の映像に重なるように拡大して再生させることとしてもよい。
また、複数映像を統合し、１つの映像プログラムになるように編集・記録してもよい。これにより、映像プレイヤーに特別な機能がなくても、複数の領域に分割された映像を１つのコンテンツファイルとして取り扱うことができる。

１Ａ〜１Ｎ…ビデオカメラ、２…制御装置、３…記憶装置、４…表示装置、５…音声出力装置、６…操作部、２１…蓄積制御部、２２…再生制御部、２３…編集制御部、４１…第１表示領域、４２…第２表示領域、４３…第３表示領域、４４…第４表示領域、４５…テロップ（スーパー）表示領域、５０…コンバイン。

Claims (9)

1. 特定人の作業を所定の撮影位置から撮影する複数の撮影装置と、
   前記特定人の作業を撮影した複数の映像を蓄積する記憶装置と、
   前記映像を表示する表示装置と、
   前記複数の映像を、前記各映像を同期するためのタイムスタンプ情報と、前記映像の再生形式を変える制御を行う制御情報とともに前記記憶装置に蓄積する蓄積制御部と、
   前記各映像を、前記表示装置の各分割領域に対応付け、前記タイムスタンプ情報および前記制御情報に基づいて再生する再生制御部と
   を備え、
   前記特定人は農業の熟練者であり、前記映像は当該熟練者による農作業器具の操作技術または農作業車両の運転技術を表す映像であり、前記特定人の作業を撮影した撮影位置のうちの１つは、前記熟練者により農作業器具の操作もしくは農作業車両の運転が行われる圃場の近傍であることを特徴とする映像表示システム。
2. 請求項１において、
   前記複数の撮影装置は前記タイムスタンプ情報を生成する計時手段を有し、
   各撮影装置の計時手段は互いに同期し、
   前記再生制御部は、前記記憶装置の各映像を前記タイムスタンプ情報にしたがい、同期させて再生することを特徴とする映像表示システム。
3. 請求項１又は２において、
   予め前記撮影装置により撮影され前記表示装置に表示中の映像に対し前記特定人により重要の旨が指示されると、前記蓄積制御部はこの映像のズーム及び再生速度を含む再生形式を変える制御を行う前記制御情報を前記指示映像に対応づけて前記記憶装置に蓄積し、
   前記再生制御部は前記制御情報に対応する映像の少なくとも拡大再生およびスローモーション再生の１つを行うことを特徴とする映像表示システム。
4. 請求項１〜３の何れかにおいて、
   予め前記撮影装置により撮影され前記表示装置に表示中の映像に対し前記特定人によりコメントが与えられると、前記蓄積制御部はこのコメントをコメント情報として前記表示中の映像に対応づけて前記記憶装置に蓄積し、
   前記再生制御部は、前記記憶装置に蓄積された前記コメント情報を再生するとこのコメント情報を前記各映像が表示されている前記表示装置の各分割領域以外の領域に表示することを特徴とする映像表示システム。
5. 請求項１において、
   前記圃場の近傍の所定の地点に配置された前記撮影装置は、前記農作業器具または前記農作業車両が前記圃場内の所定の地点にさしかかると追尾動作を行うことを特徴とする映像表示システム。
6. 請求項１〜５の何れかにおいて、
   前記撮影装置は、前記農作業器具または前記農作業車両の動きの重点箇所がより正確に撮影できるように、撮影方向、撮影速度およびズームの制御を行うことを特徴とする映像表示システム。
7. 請求項１〜６の何れかにおいて、
   前記撮影装置は、前記圃場の上空から農作業器具の操作状況または農作業車両の運転状況を撮影する撮影装置または前記熟練者の視線の方向から農作業器具の操作状況または農作業車両の運転状況を撮影する撮影装置を含むことを特徴とする映像表示システム。
8. 特定人の作業を撮影した複数の映像を、前記各映像を同期するためのタイムスタンプ情報と、前記映像の再生形式を変える制御を行う制御情報とともに蓄積する蓄積制御部と、
   前記各映像を、前記タイムスタンプ情報および前記制御情報に基づいて再生する再生制御部と
   を備え、
   前記特定人は農業の熟練者であり、前記映像は当該熟練者による農作業器具の操作技術または農作業車両の運転技術を表す映像であり、前記特定人の作業を撮影した撮影位置のうちの１つは、前記熟練者により農作業器具の操作もしくは農作業車両の運転が行われる圃場の近傍であることを特徴とする制御装置。
9. 特定人の作業を撮影した複数の映像を、前記各映像を同期するためのタイムスタンプ情報と、前記映像の再生形式を変える制御を行う制御情報とともに記憶装置に蓄積する映像蓄積ステップと、
   前記各映像を、表示装置の各分割領域に対応付け、前記タイムスタンプ情報および前記制御情報に基づいて再生する映像再生ステップと
   を含み、
   前記特定人は農業の熟練者であり、前記映像は当該熟練者による農作業器具の操作技術または農作業車両の運転技術を表す映像であり、前記特定人の作業を撮影した撮影位置のうちの１つは、前記熟練者により農作業器具の操作もしくは農作業車両の運転が行われる圃場の近傍であることを特徴とする映像表示方法。

Images