JP5972302B2 - オペレータ端末、携帯端末、指示送信方法、オペレータ端末用プログラム - Google Patents

Description

本発明は、オペレータが、遠隔のユーザから送信された画像に基づいて指示を送信するためのリモートサポート方法、システム、プログラムに関する。

従来より、パソコンや電化製品の機器を操作する初心者に対して、公衆回線を利用したネットワークを経由したリモートサポートを行うことにより、クライアントのパソコンや電化製品について、直接、そのパソコンや電化製品にアクセスして、トラブル等の状況をサポート側が把握して、トラブル対応を行うことが知られている。

また、スマートフォンのみならず、従来ネットワークには繋がっていなかった様々な機器がネットワークへの接続に対応し、別の機器と情報のやり取りを行いながら、高度な機能を提供する場面が増加している。

例えば、サポート対象を携帯電話で撮影した動画データを受信することで、動画データ内のオブジェクトを認識し、オブジェクトに対する相対位置に基づいて入力された指示データを表示するリモートサポート方法が開示されている。

特開２０１１−３４３１５号公報

特許文献１によれば、携帯電話機１００は、サポート対象を撮影した動画データをオペレータ端末５０に送信し、オペレータ端末５０が、当該動画データを表示するとともに、サポート対象のオブジェクトデータを認識し、オペレータから指示データを受信し、当該指示データが入力されたオブジェクトデータに対する相対位置を相対位置データとして、指示データと関係づけて、指示データと相対位置データとを携帯電話機１００に送信して、携帯電話機１００が、サポート対象のライブ動画を表示し、ライブ動画内のオブジェクトデータの位置と、受信した相対位置データとに基づいて、受信した指示データを所定の場所に表示する。

しかしながら特許文献１の手法では、ユーザが動画カメラ撮影に不慣れな場合などに、オペレータ所望の動画をユーザが撮影できない場合があり、ユーザの撮影手腕によってリモートサポートの質が上下してしまうという課題があった。

そこで本発明者は、ユーザが撮影した動画を画像として、動画を時系列で一覧にした画像集、もしくは、パノラマ画像をオペレータに提示し、この中から所望する画像を抽出させることで、ユーザに指示を与えやすくできることに着目した。

本発明は、携帯端末が撮影した複数の画像又は動画について、それを複数の画像データに分解し、又は分解後の画像データを大きな一枚の画像データに結合した上で、オペレータが一以上の画像データを選択し、指示データを入力する事で、遠隔にいる携帯端末のユーザに対して指示を送信できるオペレータ端末、携帯端末、指示送信方法、及びオペレータ端末用プログラムを提供することを目的とする。

本発明では、以下のような解決手段を提供する。

第１の特徴に係る発明は、撮影機能を備えた携帯端末と通信可能に接続されたオペレータ端末であって、
前記携帯端末から、指示対象として撮影された連続した複数の静止画又は動画を受信する画像受信手段と、
前記携帯端末から受信した複数の静止画又は動画を個別の画像データとして表示する画像データ個別表示手段と、
オペレータから、前記表示した画像データのうち、一以上の画像データの選択を受け付ける画像データ選択受付手段と、
前記選択を受け付けた前記画像データ内の所定位置に、前記オペレータが前記携帯端末を利用するユーザに指示するための文字を含む指示データの入力を受付ける指示データ受付手段と、
前記選択を受け付けた一以上の画像データと、前記入力を受け付けた指示データとを、前記携帯端末に送信する指示データ送信手段と、
を備えることを特徴とするオペレータ端末を提供する。

第１の特徴に係る発明によれば、撮影機能を備えた携帯端末と通信可能に接続されたオペレータ端末は、前記携帯端末から、指示対象として撮影された連続した複数の静止画又は動画を受信し、前記携帯端末から受信した複数の静止画又は動画を個別の画像データとして表示し、オペレータから、前記表示した画像データのうち、一以上の画像データの選択を受け付け、前記選択を受け付けた前記画像データ内の所定位置に、前記オペレータが前記携帯端末を利用するユーザに指示するための文字を含む指示データの入力を受付け、前記選択を受け付けた一以上の画像データと、前記入力を受け付けた指示データとを、前記携帯端末に送信する。

第１の特徴に係る発明は、オペレータ端末のカテゴリであるが、指示送信方法及び、オペレータ端末用プログラムであっても同様の作用、効果を奏する。

第２の特徴に係る発明は、前記個別の画像データとして、前記個別の画像データとして表示した二以上の画像データを接合することで、より大きな画像データを生成するパノラマ画像生成手段と、
を備えることを特徴とする第１の特徴に係る発明であるオペレータ端末を提供する。

第２の特徴に係る発明によれば、第１の特徴に係る発明であるオペレータ端末は、前記個別の画像データとして、前記個別の画像データとして表示した二以上の画像データを接合することで、より大きな画像データを生成する。

第３の特徴に係る発明は、前記指示データとは、前記オペレータ端末を利用するオペレータが前記携帯端末を利用するユーザに指示するための矢印のアイコン、図形、文字を含むマークであることを特徴とする第１又は第２の特徴に係る発明であるオペレータ端末を提供する。

第３の特徴に係る発明によれば、第１又は第２の特徴に係る発明であるオペレータ端末において、前記指示データとは、前記オペレータ端末を利用するオペレータが前記携帯端末を利用するユーザに指示するための矢印のアイコン、図形、文字を含むマークである。

第４の特徴に係る発明は、撮影機能を備え、オペレータ端末と通信可能に接続された携帯端末であって、
指示対象となる物体について連続した複数の静止画又は動画を撮影する撮影手段と、
前記撮影した連続した複数の静止画又は動画を前記オペレータ端末に送信する画像送信手段と、
前記オペレータ端末から、一以上の画像データ及び指示データを受信する指示データ受信手段と、
前記受信した一以上の画像データ及び前記オペレータが前記携帯端末を利用するユーザに指示するための文字を含む指示データを表示部に表示する指示データ表示手段と、
を備えることを特徴とする携帯端末を提供する。

第５の特徴に係る発明は、撮影機能を備えた携帯端末と通信可能に接続されたオペレータ端末が実行する遠隔指示方法であって、
前記携帯端末から、指示対象として撮影された連続した複数の静止画又は動画を受信するステップと、
前記携帯端末から受信した複数の静止画又は動画を個別の画像データとして表示するステップと、
オペレータから、前記表示した画像データのうち、一以上の画像データの選択を受け付けるステップと、
前記選択を受け付けた前記画像データ内の所定位置に、前記オペレータが前記携帯端末を利用するユーザに指示するための文字を含む指示データの入力を受付けるステップと、
前記選択を受け付けた一以上の画像データと、前記入力を受け付けた指示データとを、前記携帯端末に送信するステップと、
を備えることを特徴とする指示送信方法を提供する。

第６の特徴に係る発明は、撮影機能を備えた携帯端末と通信可能に接続されたオペレータ端末に、
前記携帯端末から、指示対象として撮影された連続した複数の静止画又は動画を受信するステップ、
前記携帯端末から受信した複数の静止画又は動画を個別の画像データとして表示するステップ、
オペレータから、前記表示した画像データのうち、一以上の画像データの選択を受け付けるステップ、
前記選択を受け付けた前記画像データ内の所定位置に、前記オペレータが前記携帯端末を利用するユーザに指示するための文字を含む指示データの入力を受付けるステップ、
前記選択を受け付けた一以上の画像データと、前記入力を受け付けた指示データとを、前記携帯端末に送信するステップ、
を実行させることを特徴とするオペレータ端末用プログラムを提供する。

本発明によれば、携帯端末が撮影した複数の画像又は動画について、それを複数の画像データに分解し、又は分解後の画像データを大きな一枚の画像データに結合した上で、オペレータが一以上の画像データを選択し、指示データを入力する事で、遠隔にいる携帯端末のユーザに対して指示を送信できるオペレータ端末、携帯端末、指示送信方法、及びオペレータ端末用プログラムを提供することが可能となる。

図１は、指示送信システム１の概要を説明するための概要図である。 図２は、指示送信システム１の全体構成図である。 図３は、携帯端末１０、オペレータ端末１５０の機能ブロック図である。 図４は、携帯端末１０、オペレータ端末１５０が実行する指示送信処理を示すフローチャート図である。 図５は、携帯端末１０による対象物の撮影画面の一例である。 図６は、オペレータ端末１５０が画像データ及び指示データの入力を受け付ける画面の一例である。 図７は、携帯端末１０に表示された指示データの一例である。

以下、本発明を実施するための最良の形態について図を参照しながら説明する。なお、これはあくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。

［指示送信システムの概要］
図１は、本発明の好適な実施形態である指示送信システム１について説明するための概要図である。この図１に基づいて、指示送信システム１について説明する。

指示送信システム１において、はじめに、携帯端末１０は、指示対象となる対象物５０を撮影する（ステップＳ０１）。ここで対象物５０は単一でなくてもよい。

ここで、撮影においては、複数の画像又は動画の撮影を行う（ステップＳ０２）。例えばビデオ機能を利用して動画を撮影してもよいし、連写機能、パノラマ機能を利用して撮影を行ってもよいし、手動で複数枚の画像を撮影してよい。結果、図で示す様な連続写真、またはそれから構成される動画が撮影されたものとする。

携帯端末１０は、撮影した複数の画像又は動画をオペレータ端末１５０に送信する（ステップＳ０３）。オペレータ端末１５０は、受信した複数の画像又は動画を個別の画像データとして画面に表示し、そのうち一以上の画像データの選択を受け付ける（ステップＳ０４）。

ここで、例えば動画は圧縮の方式等により、前フレームとの差分により表されている場合もあるものの、そうした場合であっても各フレームに相当する画像データを生成し、個別の画像データとして表示する。また、オペレータの操作に応じて、又は自動で、複数の画像データを結合し、パノラマ画像のような大きな画像データを新たに生成してもよい。

オペレータ端末１５０は、選択された画像データについて、指示データの入力を受け付ける（ステップＳ０５）。指示データは、図形、文字、音声等でオペレータがユーザに指示を行うデータであって、画像データと組み合わせて保存される。

そして、オペレータ端末１５０は選択された画像データ及び指示データを携帯端末１０に送信する（ステップＳ０６）。携帯端末１０は、受信した画像データ及び指示データを表示部に表示することで、ユーザに指示を伝える（ステップＳ０７）。以上が、指示送信システム１の概要である。

［指示送信システムのシステム構成］
図２は、本発明の好適な実施形態である指示送信システム１のシステム構成図である。指示送信システム１は、公衆回線網３（インターネット網や第３世代、第４世代通信網など）、携帯端末１０、オペレータ端末１５０から構成される。指示送信システム１内の通信は、無線通信、有線通信を問わない。

携帯端末１０は、撮影機能及び後述の機能を備えた一般的な携帯情報端末であって、携帯電話、携帯情報端末、ネットブック端末、スレート端末、電子書籍端末、携帯型音楽プレーヤ等も含む。

オペレータ端末１５０は、データ通信を行うことが可能で、後述の機能を備えた家庭用又は業務用の端末である。

［各機能の説明］
図３は、携帯端末１０、オペレータ端末１５０の機能ブロックと各機能の関係を示す図である。

携帯端末１０は、制御部１１として、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ），ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ），ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等を備え、通信部１２として、例えば、ＩＥＥＥ８０２．１１に準拠したＷｉＦｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）対応デバイス又は、第３世代移動通信システム等のＩＭＴ−２０００規格に準拠した無線デバイス、そのほか無線通信規格に対応したデバイスを備える。

また、携帯端末１０は、入出力部１３として、制御部で制御したデータや画像を出力表示する表示部を備え、かつ、ユーザやサポート者からの入力を受付けるタッチパネルやキーボード、マウス等とともに、撮影機能を有するデバイスを備える。

携帯端末１０において、制御部１１が所定のプログラムを読み込むことで、通信部１２と協働して、画像送信モジュール１４、指示データ受信モジュール１５を実現する。また、携帯端末１０において、制御部１１が所定のプログラムを読み込むことで、入出力部１３と協働して、撮影モジュール１６、指示データ表示モジュール１７を実現する。

オペレータ端末１５０は、同様に、制御部１５１として、ＣＰＵ，ＲＡＭ，ＲＯＭ等を備え、通信部１５２として、例えば、ＩＥＥＥ８０２．１１に準拠したＷｉＦｉ対応デバイスを備える（有線であってもよい）。加えて、オペレータ端末１５０は、入出力部１５３として、制御部で制御したデータや画像を出力表示する表示部を備え、かつ、ユーザやサポート者からの入力を受付けるタッチパネルやキーボード、マウス等を備える。

オペレータ端末１５０の制御部１５１が所定のプログラムを読み込むことで、通信部１５２と協働して、画像受信モジュール１５４、指示データ送信モジュール１５５を実現する。また、オペレータ端末１５０の制御部１５１が所定のプログラムを読み込むことで、入出力部１５３と協働して、画像データ個別表示モジュール１５６、画像データ選択受付モジュール１５７、指示データ受付モジュール１５８、パノラマ画像生成モジュール１５９を実現する。

［指示送信処理］
図４は、携帯端末１０、オペレータ端末１５０が実行する指示送信処理のフローチャートである。上述した各装置のモジュールが行う処理について、本処理にて併せて説明する。

指示送信システム１において、はじめに、携帯端末１０の撮影モジュール１６は、指示対象となる対象物５０を撮影する（ステップＳ１１）。ここで、撮影においては、複数の画像又は動画の撮影を行う。例えばビデオ機能を利用して動画を撮影してもよいし、連写機能、パノラマ機能を利用して撮影を行ってもよいし、手動で複数枚の画像を撮影してよい。また、撮影モジュール１６によって、パノラマ写真を撮影するような指示が表示されてもよい。

図５は、携帯端末１０による対象物の撮影画面の一例である。携帯端末１０において、撮影マーク５１が表示され、ファインダー越しに対象物５２が見えているとする。ここで、動画又は連続写真を撮るため、画面には撮影指示５３が表示され、ユーザの撮影手腕に依存せず、必要な画像データが撮影できるようになっている。

次に携帯端末１０の画像送信モジュール１４は、撮影した複数の画像又は動画をオペレータ端末１５０に送信する（ステップＳ１２）。オペレータ端末１５０の画像受信モジュール１５４は、送信された複数の画像又は動画を受信する（ステップＳ１３）。

次に、オペレータ端末１５０の画像データ個別表示モジュール１５６は、複数の画像又は動画を個別の画像データとして画面に表示する（ステップＳ１４）。ここで、例えば動画は圧縮の方式等により、前フレームとの差分により表されている場合もある。そうした場合であっても、画像データ個別表示モジュール１５６は、各フレームに相当する画像データを生成し、個別の画像データとして表示する。また、パノラマ画像生成モジュール１５９は、オペレータの操作に応じて、又は自動で、複数の画像データを結合し、パノラマ画像のような大きな画像データを新たに生成してもよい。

続いて、オペレータ端末１５０の画像データ選択受付モジュール１５７は、個別に表示した画像データについて選択を受け付ける（ステップＳ１５）。

そして、オペレータ端末１５０は、選択された画像データについて、指示データの入力を受け付ける（ステップＳ１６）。指示データは、矢印、図形、文字、音声等でオペレータがユーザに指示を行うデータであって、画像データと組み合わせて保存される。

図６は、オペレータ端末１５０が画像データ及び指示データの入力を受け付ける画面の一例である。図６において個別の画像データ６１が表示され、画像の選択状態を示す点線６２と、選択された画像６３が表示されている。また、オペレータから入力を受け付けた文字や図形の指示データ６４が、携帯端末１０上に表示されるのと同様に画面上に表示されている。

その後、オペレータ端末１５０の指示データ送信モジュール１５５は、選択された画像データ及び指示データを携帯端末１０に送信する（ステップＳ１７）。携帯端末１０の指示データ受信モジュール１５は、送信された画像データ及び指示データを受信する（ステップＳ１８）。

最後に、携帯端末１０の指示データ表示モジュール１７は、受信した画像データ及び指示データを表示部に表示する（ステップＳ１８）。これにより、携帯端末１０の利用者たるユーザに、オペレータからの指示が伝えられる。

図７は、携帯端末１０に表示された指示データの一例である。選択された画像データ７１とともに、文字７２と図形７３が表示されている。また、選択された画像データが複数であった場合として、他の画像データ７４、及び画像データ７４に結びつけられた矢印７５が表示される。

以上が、指示送信処理の手順である。

なお、上述の説明では、携帯端末１０によるパノラマ画像の撮影等を行っているが、これの代替として、携帯端末１０で撮影した画像を、３次元フォトグラフィーに再現（Ｓｃｎ３Ｄ等の画像処理技術）してもよい。すなわち、家電製品などの対象物の周辺３６０度を撮影した画像を変換することで、コンピュータ内で３６０度回転可能なオブジェクトを生成する。この処理されたオブジェクトを、オペレータ端末１５０が操作して、所定の箇所に指示を加えることで、オペレータがユーザに指示をしてもよい。

上述した手段、機能は、コンピュータ（ＣＰＵ，情報処理装置，各種端末を含む）が、所定のプログラムを読み込んで、実行することによって実現される。プログラムは、例えば、フレキシブルディスク、ＣＤ（ＣＤ−ＲＯＭなど）、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭなど）等のコンピュータ読取可能な記録媒体に記録された形態で提供される。この場合、コンピュータはその記録媒体からプログラムを読み取って内部記憶装置または外部記憶装置に転送し記憶して実行する。また、そのプログラムを、例えば、磁気ディスク、光ディスク、光磁気ディスク等の記憶装置（記録媒体）に予め記録しておき、その記憶装置から通信回線を介してコンピュータに提供するようにしてもよい。

以上、本発明の実施形態について説明したが、本発明は上述したこれらの実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。

１ 指示送信システム、３ 公衆回線網、１０ 携帯端末、１５０ オペレータ端末

Claims (6)

1. 撮影機能を備えた携帯端末と通信可能に接続されたオペレータ端末であって、
   前記携帯端末から、指示対象として撮影された連続した複数の静止画又は動画を受信する画像受信手段と、
   前記携帯端末から受信した複数の静止画又は動画を個別の画像データとして表示する画像データ個別表示手段と、
   オペレータから、前記表示した画像データのうち、一以上の画像データの選択を受け付ける画像データ選択受付手段と、
   前記選択を受け付けた前記画像データ内の所定位置に、前記オペレータが前記携帯端末を利用するユーザに指示するための文字を含む指示データの入力を受付ける指示データ受付手段と、
   前記選択を受け付けた一以上の画像データと、前記入力を受け付けた指示データとを、前記携帯端末に送信する指示データ送信手段と、
   を備えることを特徴とするオペレータ端末。
2. 前記個別の画像データとして、前記個別の画像データとして表示した二以上の画像データを接合することで、より大きな画像データを生成するパノラマ画像生成手段と、
   を備えることを特徴とする請求項１に記載のオペレータ端末。
3. 前記指示データとは、前記オペレータ端末を利用するオペレータが前記携帯端末を利用するユーザに指示するための矢印のアイコン、図形、文字を含むマークであることを特徴とする請求項１又は請求項２に記載のオペレータ端末。
4. 撮影機能を備え、オペレータ端末と通信可能に接続された携帯端末であって、
   指示対象となる物体について連続した複数の静止画又は動画を撮影する撮影手段と、
   前記撮影した連続した複数の静止画又は動画を前記オペレータ端末に送信する画像送信手段と、
   前記オペレータ端末から、一以上の画像データ及び前記オペレータが自身を利用するユーザに指示するための文字を含む指示データを受信する指示データ受信手段と、
   前記受信した一以上の画像データ及び指示データを表示部に表示する指示データ表示手段と、
   を備えることを特徴とする携帯端末。
5. 撮影機能を備えた携帯端末と通信可能に接続されたオペレータ端末が実行する遠隔指示方法であって、
   前記携帯端末から、指示対象として撮影された連続した複数の静止画又は動画を受信するステップと、
   前記携帯端末から受信した複数の静止画又は動画を個別の画像データとして表示するステップと、
   オペレータから、前記表示した画像データのうち、一以上の画像データの選択を受け付けるステップと、
   前記選択を受け付けた前記画像データ内の所定位置に、前記オペレータが前記携帯端末を利用するユーザに指示するための文字を含む指示データの入力を受付けるステップと、
   前記選択を受け付けた一以上の画像データと、前記入力を受け付けた指示データとを、前記携帯端末に送信するステップと、
   を備えることを特徴とする指示送信方法。
6. 撮影機能を備えた携帯端末と通信可能に接続されたオペレータ端末に、
   前記携帯端末から、指示対象として撮影された連続した複数の静止画又は動画を受信するステップ、
   前記携帯端末から受信した複数の静止画又は動画を個別の画像データとして表示するステップ、
   オペレータから、前記表示した画像データのうち、一以上の画像データの選択を受け付けるステップ、
   前記選択を受け付けた前記画像データ内の所定位置に、前記オペレータが前記携帯端末を利用するユーザに指示するための文字を含む指示データの入力を受付けるステップ、
   前記選択を受け付けた一以上の画像データと、前記入力を受け付けた指示データとを、前記携帯端末に送信するステップ、
   を実行させることを特徴とするオペレータ端末用プログラム。