JP3976507B2

JP3976507B2 - 画像表示装置

Info

Publication number: JP3976507B2
Application number: JP2001020720A
Authority: JP
Inventors: 浩久酒井; 吉弘平井; 実哉加藤
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2001-01-29
Filing date: 2001-01-29
Publication date: 2007-09-19
Anticipated expiration: 2021-01-29
Also published as: JP2002230086A

Description

【０００１】
【発明の属する技術分野】
本発明は、人の行う作業などの各種工程の作業手順を説明するための画像を作成して画面上に表示する画像表示装置に関する。
【０００２】
【従来の技術】
従来より、作業マニュアル等の各種工程手順を画面表示して説明する装置が実用化されている。例えば、特開平６−２８２２２２号公報には、危険予知訓練時に、危険予知訓練用テキストに基づいて、作業局面毎の画像情報を工程順に表示すると共に、各作業局面において入力画面指示情報に基づいて危険予知情報を表示し、かつ画面のページングを行うように構成された危険予知訓練装置が開示されている。
【０００３】
あるいは、複数台のビデオカメラにより撮影した映像をカット編集し、工程手順を表示する装置も実用化されている。図１３には、このような従来の画像表示装置に使用する画像を作成する方法の例が示される。図１３において、２台のカメラ１０により被写体１２を撮影し、それぞれのカメラ１０に接続された画像処理装置１４において所定のカット編集等を行い、この画像をメモリ１６に格納する。このメモリ１６に格納された画像は、所定の工程手順に従った動作が適正な順序に配列されたものであるので、これを再生することにより各種工程手順を画面上に表示し、説明することが可能となる。
【０００４】
【発明が解決しようとする課題】
しかし、上記従来の画像表示装置においては、各工程に登場する被写体１２の内部構造を表示することが困難であり、また、実際に行われる動作をわかりやすく表現することも困難であるという問題があった。
【０００５】
特に、人手によって行われ金型の一部の不良補修などの作業は、ビデオ撮影によって得られる映像が実際にその場で見ているのに近いものではあるが、作業内容によっては作業手順や技能作業の要所が認識できない場合も多い。
【０００６】
例えば、溶接作業などでは、作業に伴い、光が発生し、ビデオを見ても溶接を行っている箇所においてどのような作業が行われているかはほとんどわからない。また、部材のくぼみの内側などに対するものは、映像中には映らない場合が多い。さらに、作業によっては、他の装置や作業者自体がじゃまになり、肝心な部分がビデオに映らないという問題があった。
【０００７】
本発明は、上記従来の課題に鑑みなされたものであり、その目的は、各種工程の作業手順を理解しやすく表示することができる画像表示装置を提供することにある。
【０００８】
【課題を解決するための手段】
上記目的を達成するために、本発明は、人手によって行われる各種工程の作業手順を表示する画像データを作成して、各種工程の作業手順を画面上に表示する画像表示装置であって、実際に工程が実行されているところを撮影した映像データを入力する入力手段と、前記映像データからコンピュータグラフィックス画像データを作成すべき時点における静止画データを複数抽出して時系列順に配列し、かつ、抽出され時系列配列された前記複数の静止画データをレンダリング処理することで前記映像データと同期する同一コマ数のコンピュータグラフィックス画像データを作成して前記映像データに挿入することで前記映像データと前記コンピュータグラフィックス画像データが重畳された画像データを作成する処理手段と、を有し、前記映像データによる映像と、これに対応しかつ同期して進行する前記コンピュータグラフィックス画像データによる画像の両方を画面上に表示することを特徴とする。
【０００９】
ここで、前記処理手段は、前記映像データから静止画データを複数抽出する場合に、前記映像データにおける被写体の変化に応じ、変化が大きい場合には小さい場合に比べてより多くの静止画データを抽出することが好適である。また、前記処理手段は、前記映像データの各コマに合わせて前記コンピュータグラフィックス画像データを作成して前記映像データに挿入することが好適である。また、前記処理手段は、前記映像データの中で理解しやすく表示したい部分の静止画データを前記映像データから複数抽出して時系列順に配列することが好適である。
【００１０】
また、前記コンピュータグラフィックス画像データは、工程を実行している箇所における道具の動作状態を明確に示すものであることが好適である。また、前記工程は、溶接作業を含み、前記コンピュータグラフィックス画像データは、溶接に際し発生する光の悪影響を排除して工程実行の様子を明確に示したものであることが好適である。
【００１１】
また、前記工程手順における被写体の動作と、これに対応しかつ同期して進行するコンピュータ・グラフィクスで構成された動作とを、画面上に表示することが好適である。
【００１２】
また、各種工程手順を画面上に表示する画像表示方法であって、実際に工程が実行されているところを撮影しビデオ画像を得るステップと、前記工程が実行されている状態を示すコンピュータ・グラフィクス画像を得るステップと、を有し、前記ステップで得られたビデオ画像と、コンピュータ・グラフィクス画像の両方を画面に表示して工程手順を提示することを特徴とする。
【００１３】
また、前記コンピュータ・グラフィクス画像は、撮影したビデオ画像から取り出した静止画に基づいて作成されることが好適である。
【００１４】
また、前記静止画を取り出す工程において、理解しやすく表現したい部分についての時間あたりの変化が大きい場面では前記ビデオ画像から取り出す静止画の時間当たりの数を多くし、変化が小さい場面では取り出す静止画の数を少なくすることが好適である。
【００１５】
【発明の実施の形態】
以下、本発明の実施の形態（以下実施形態という）を、図面に従って説明する。
【００１６】
まず、実施形態にかかる映像の作成手順について、図１に基づいて説明する。まず、熟練作業者により、実際の作業を行ってもらい、その作業風景を撮影する（Ｓ１１）。この撮影は、各種の方向から、数種類行うことが好ましい。これによって、適切な方向からの映像を選択することができる。
【００１７】
次に、作業における注意点や、具体的な作業内容について、熟練工に聞く（Ｓ１２）。一般的なことは、Ｓ１１の前に聞いておくべきであるが、実際に撮影を終わった後で、その作業内容に合わせて、どのような作業を行っているのかを熟練工に聞くことで、作業内容を確実に知ることができる。
【００１８】
そして、ビデオに映っている作業内容にコンピュータ・グラフィクスが必要な箇所において、その内容を示すコンピュータ・グラフィクスをアニメーションソフトウェアを利用したアニメーションとして作成する（Ｓ１３）。次に、作成されたアニメーションをビデオ信号に重畳合成する（Ｓ１４）。合成して得た信号によって、コンピュータ上で再生できる動画ファイルを作成することが好適であるが、ビデオテープを作成してもよい。動画ファイルにすることによって、ノートパソコンなどを実際に作業を行う場所に持っていき、その場で再生して参照することができる。
【００１９】
このようにして、アニメーションが合成された動画ファイルやビデオテープが作成される。この動画ファイルやビデオテープにおいては、映像だけでは理解しがたい作業内容について、そのエッセンスがアニメーションで示される。従って、視聴者は、実際の作業内容を容易に理解することができ、自己の作業の参考にすることができる。
【００２０】
ここで、アニメーションと、ビデオ画像は、重畳して表示し、ビデオ画像とアニメーションの進行に合わせるとよい。また、アニメーションとビデオ画像を別々に再生してもよい。
【００２１】
ここで、金型の不良部分の補修作業について説明する。まず、修理位置について示す。例えば、図２に示すように、アニメーションによって、修理位置を周辺とは異なる色で示すことが好適である。例えば、全体を灰色で表示し、修理位置を赤色で示すことが好適である。このような修理位置は、単なるビデオ撮影では、認識できるようにすることが難しく、アニメーションによって明確に示すことができる。
【００２２】
次に、この修理位置についての型をサンダーによって不良部分を切除する開先サンダー作業を行う。このサンダーによる切削作業も、ビデオでは、その部分の切削状況がわかりにくい。そこで、図３に示すように、アニメーションによって表示する。但し、作業にやり方など全体の作業内容は、ビデオによって、見た方がわかりやすいため、アニメーションの後にビデオで、作業状態を見せることが好ましい。
【００２３】
サンダーによる開先サンダー作業が終了した場合には、修理部分について予熱作業を行う。この予熱はガスの火炎ににより行うため、ビデオによりその作業を十分認識できる。そこで、ビデオのみで表示で足りる。
【００２４】
次に、溶接棒による溶接肉盛り作業を行う。この溶接作業は、アーク溶接で行う。この際、閃光が発生するため、ビデオでは溶接部分が認識できない。そこで、溶接の状況について、アニメーションを併用する。例えば、図４に示すようなアニメーションをビデオ表示の一部に重畳表示する。また、溶接棒の先端と型（ワーク）との間隙については、アニメーションにおいて、その距離（例えば、５ｍｍ）の表示も行う。また、溶接棒のワークに対する角度の表示もアニメーションで行う。
【００２５】
さらに、溶接肉盛りの際に必要な装備である、「保護具、遮光面、皮手袋、足カバー」等の表示も行い、必要な装備を知らせることも好ましい。
【００２６】
また、この溶接肉盛り作業を２度にわたって行い、２列の肉盛りを行う場合には、図５に示すように、２列について、色を変更すると見やすい画面にできる。
【００２７】
溶接肉盛りが終わった場合には、ハンマーによるピーニングを行うが、この作業は、ビデオにて十分理解できるため、アニメーションは省略する。
【００２８】
次に、ピーニングした肉盛り部分について、サンダー掛けを行う。サンダー掛けは、最初の開先作業と同様、サンダーを掛けている部分はサンダーによって隠されてしまうため、図６に示すようにアニメーションとビデオ画像で表示することが好ましい。上面、および側面ともにサンダーによって表面が削り取られ、盛り上がった場所が除去される。
【００２９】
さらに、サンダー掛けした表面をグラインダーで、なめらかにする。この作業についても、ビデオに併せ、図７に示すように、、アニメーションによりグラインダーの向き動きなどを表現するとよい。最後に砥石掛けを行うが、これもビデオと、アニメーションの両方で表示することが好ましい。
【００３０】
図８に、本システムの構成例を示す。処理部１１０には、アニメーションソフトウェア記憶部１１２からアニメーションソフトウェアが供給される。また、入力部１１４から各種のデータ入力がなされる。そして、作業風景を撮影したビデオ信号が処理部に入力され、この入力されたビデオ画像を取り込みながら、アニメーションソフトウェアを利用したアニメーションを作成し、これらを合成する。そして、合成されたアニメーション合成ビデオが処理部１１０から出力される。このアニメーション合成ビデオは、動画ファイルに取り込みパソコンで再生できることが好ましいが、ビデオテープに書き込んでもよい。
【００３１】
図９には、本発明に係る画像表示装置に表示するための画像を作成する方法の例が示される。図９において、カメラ１０により各種工程手順における被写体１２の動作を撮影する。これによって、ビデオ画像が得られる。本実施形態ではこのビデオ動画像における被写体１２の実際の動作と、これに対応するコンピュータ・グラフィクス（ＣＧ）で構成された動作とを同期して画面上に表示することにより、被写体１２の実際の動作だけではわかりにくい部分や、必要に応じて被写体１２の内部構造等もＣＧによって表示でき、見る者の理解を容易にすることができる。
【００３２】
このように、被写体１２の動作の所定部分を取り出して、これをＣＧで表現するために、カメラ１０で撮影した被写体１２の動作のうち必要な部分を取り出すいわゆるカット編集を行う。
【００３３】
図１０には、カット編集して取り出された被写体１２の静止画面に基づき、ＣＧにより被写体１２の動作を模式的に表現する方法の例が示される。図１０において、カメラ１０で撮影されたビデオ動画像の中から、ＣＧ画像を作成する時点における静止画面を画像処理装置１４により取り出す。取り出された静止画面を基にして、画像処理装置１４によりレンダリング処理を行い、ＣＧ画像によって構成された動画を作成する。
【００３４】
すなわち、ビデオ動画像の中で、理解しやすく表示したい部分をまず決定する。通常は、１フレームの画像内で特に説明が必要な部分を特定の部分として静止画として取り出すが、１フレームの画像全体を静止画として取り出し、ＣＧ画像を作成する際に必要な部分を切り出してもよい。そして、取り出された説明が必要な部分についての静止画に基づいて、ビデオ画像に同期したＣＧ画像を作成する。
【００３５】
ＣＧ画像を作成する場合、被写体１２の実際の動作と、ＣＧで構成された動作とを同期させるために、図１０に示された、ＣＧ画像を作成する基になる静止画面ＡとＢとを、ビデオ撮影された実際の動作に基づいて予め時系列に並べておく（ＣＧ画像における静止画面Ａ’、Ｂ’）。さらに、ＣＧ画像を作成する際には、ビデオ撮影した被写体１２の実際の動作のビデオの各コマに合わせてＣＧを作成してゆく。このようにして、被写体１２の実際の動作と、これに対応するＣＧで作成された動作とが同期して進行するように構成できる。したがって、これらを１つの画面上に表示すれば、被写体の実際の動作と、これに対応しかつ同期して進行するコンピュータ・グラフィクスで構成された動作とを、１つの画面上に表示することができる。なお、ＣＧの表示位置は被写体１２の実際の動作の理解がしやすくなるように適宜決定される。
【００３６】
ここで、説明が必要な部分の静止画を取り出す頻度は、その部分における画像の動きを参照して決定することが好ましい。すなわち、説明が必要な部分の変化が大きい場合には、時間当たりにビデオ画像から取り出す静止画の数を多くし、反対に変化が小さい場合には、静止画の数を少なくする。これによって、静止画から静止画までのＣＧ画像における動きの量が比較的に均一になり、ＣＧ作成が容易で、かつビデオ画像との同期をとるのが容易になる。
【００３７】
図１１には、部品のグラインダーがけ処理の工程手順を、実際の動作と上述のようにして作成されたＣＧで構成された動作とで表示した場合の例が示される。図１１において、本発明に係る画像表示装置の画面１８には、実際にグラインダーがけを行う作業者とグラインダーがけされる部品とが、被写体１２として表示されている。この場合、グラインダーがけの細かな動作は作業者の動作をビデオ撮影した動画だけでは理解しにくいので、グラインダーとグラインダーがけされる部品の１部分のみを取り出し、これを上述した方法によりＣＧ画像２０として画面１８上に表示する。この際には、被写体である作業者が実際に行う動作と同期して動くようにグラインダーの動作をＣＧで構成して表示する。さらにこの場合、ＣＧ画像２０には、例えば「グラインダーのかけ方」のような作業名称や、「クロスがけして平面を出しながら」のような作業上の注意点等を文字により表示することもできる。以上のようにして、カメラ１０で撮影された被写体１２の実際の動作と、ＣＧ画像２０により表示された画像の動作とを対応させてかつ動きを同期させることにより見る者に理解しやすい説明画像を表示することが可能となる。
【００３８】
図１２には、本発明に係る画像表示装置で使用するＣＧ画像を作成し、これを画面１８上に挿入する方法の工程が示される。図１２において、まず画面上に表示される工程手順の実際の作業のビデオを撮影する（Ｓ１）。次に、撮影した作業のうち、画面１８に表示する部分のみをカット編集により取り出し、各工程手順毎にタイムテーブルを作成する（Ｓ２）。
【００３９】
次に、各作業の中でＣＧを組み合わせるべき作業を選択する（Ｓ３）。Ｓ３において選択された作業の中で、ＣＧを作成する際の基となる静止画を確認する（Ｓ４）。次に、Ｓ４で確認された静止画のうち、ＣＧにより具体化し、動きをわかりやすくすべき箇所を見つけだして、ＣＧの構成を作成する（Ｓ５）。
【００４０】
さらに、ＣＧ作成の基となる静止画を抽出してこれを時系列に並べる（Ｓ６）。時系列に並べられた静止画を画像処理装置１４によりレンダリング処理し、ＣＧにより実際の動作に対応する動画を作成する（Ｓ７）。この場合には、上述したように、実際の作業を撮影したビデオの各コマに合わせてＣＧを作成し、作業の実際の動作とＣＧで構成された動作とを同期させる。
【００４１】
以上のようにして作成したＣＧ画像２０をビデオフレーム中に挿入し、画面１８上に作業の実際の動作とＣＧ画像２０とを同時に表示させる（Ｓ８）。
【００４２】
以上の工程により、工程手順の実際の動作と、これに対応しかつ同期して進行するＣＧで構成された動作とが、１つの画面上に表示される画像表示装置が提供される。
【００４３】
【発明の効果】
以上説明したように、本発明によれば、説明すべき工程手順の実際の動作と、これに対応しかつ同期して進行するコンピュータ・グラフィクスで構成された動作とが、１つの画面上に表示されるので、見る者にとって理解の容易な説明画像を表示できる画像表示装置を提供することができる。また、説明が必要な部分の変化に応じてビデオ画像から取り出す静止画の数を決定することで、静止画から静止画までのＣＧ画像における動きの量が比較的に均一になり、ＣＧ作成が容易で、かつビデオ画像との同期をとるのが容易になる。
【図面の簡単な説明】
【図１】処理の手順を示すフローチャートである。
【図２】修理位置を示す画面の図である。
【図３】開先サンダー作業の画面を示す図である。
【図４】溶接肉盛り作業の画面を示す図である。
【図５】２列の肉盛りの画面を示す図である。
【図６】サンダー掛けの画面を示す図である。
【図７】グラインダー掛けの画面を示す図である。
【図８】システムの構成を示す図である。
【図９】本発明に係る画像表示装置に使用される動画をビデオ撮影する方法の例を示す図である。
【図１０】図９に示された方法により撮影されたビデオ画像の中から静止画面を取り出し、レンダリング処理する場合の説明図である。
【図１１】本発明に係る画像表示装置に表示される、実際に作業する被写体と、この被写体の動作に対応しかつ同期して進行するコンピュータ・グラフィクス画像とを同一画面上に表示した場合の例を示す図である。
【図１２】本発明に係る画像表示装置に使用されるコンピュータ・グラフィクスを構成する工程を示すフロー図である。
【図１３】従来における工程手順を説明する場合の画像を作成する方法の例を示す図である。
【符号の説明】
１０カメラ、１２被写体、１４画像処理装置、１６メモリ、１８画面、２０ＣＧ画像、１１０処理部、１１２アニメーションソフトウェア記憶部、１１４入力部。

Claims

人手によって行われる各種工程の作業手順を表示する画像データを作成して、各種工程の作業手順を画面上に表示する画像表示装置であって、
実際に工程が実行されているところを撮影した映像データを入力する入力手段と、
前記映像データからコンピュータグラフィックス画像データを作成すべき時点における静止画データを複数抽出して時系列順に配列し、かつ、抽出され時系列配列された前記複数の静止画データをレンダリング処理することで前記映像データと同期する同一コマ数のコンピュータグラフィックス画像データを作成して前記映像データに挿入することで前記映像データと前記コンピュータグラフィックス画像データが重畳された画像データを作成する処理手段と、
を有し、
前記映像データによる映像と、これに対応しかつ同期して進行する前記コンピュータグラフィックス画像データによる画像の両方を画面上に表示することを特徴とする画像表示装置。
請求項１記載の装置において、
前記処理手段は、前記映像データから静止画データを複数抽出する場合に、前記映像データにおける被写体の変化に応じ、変化が大きい場合には小さい場合に比べてより多くの静止画データを抽出する
ことを特徴とする画像表示装置。
請求項１または２記載の装置において、
前記処理手段は、前記映像データの各コマに合わせて前記コンピュータグラフィックス画像データを作成して前記映像データに挿入することを特徴とする画像表示装置。
請求項１〜３のいずれか１記載の装置において、
前記処理手段は、前記映像データの中で理解しやすく表示したい部分の静止画データを前記映像データから複数抽出して時系列順に配列することを特徴とする画像表示装置。
請求項１〜４のいずれか１記載の装置において、
前記コンピュータグラフィックス画像データは、工程を実行している箇所における道具の動作状態を明確に示すものであることを特徴とする画像表示装置。
請求項５記載の装置において、
前記工程は、溶接作業を含み、
前記コンピュータグラフィックス画像データは、溶接に際し発生する光の悪影響を排除して工程実行の様子を明確に示したものであることを特徴とする画像表示装置。