JP5140889B2 - ゆらぎ補正による画像表示方法及びその方法を用いた動体リモートコントロールシステム - Google Patents
ゆらぎ補正による画像表示方法及びその方法を用いた動体リモートコントロールシステム Download PDFInfo
- Publication number
- JP5140889B2 JP5140889B2 JP2008528709A JP2008528709A JP5140889B2 JP 5140889 B2 JP5140889 B2 JP 5140889B2 JP 2008528709 A JP2008528709 A JP 2008528709A JP 2008528709 A JP2008528709 A JP 2008528709A JP 5140889 B2 JP5140889 B2 JP 5140889B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- information
- received
- time
- moving object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 55
- 238000012937 correction Methods 0.000 title claims description 15
- 238000012545 processing Methods 0.000 claims description 63
- 238000007906 compression Methods 0.000 claims description 8
- 230000006835 compression Effects 0.000 claims description 7
- 230000006854 communication Effects 0.000 description 29
- 238000004891 communication Methods 0.000 description 21
- 230000005540 biological transmission Effects 0.000 description 17
- 230000006870 function Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 14
- 238000012544 monitoring process Methods 0.000 description 7
- 230000003111 delayed effect Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
- G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/61—Network physical structure; Signal processing
- H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
- H04N21/6125—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/61—Network physical structure; Signal processing
- H04N21/6156—Network physical structure; Signal processing specially adapted to the upstream path of the transmission network
- H04N21/6175—Network physical structure; Signal processing specially adapted to the upstream path of the transmission network involving transmission via Internet
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
- H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
-
- G—PHYSICS
- G08—SIGNALLING
- G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
- G08C2201/00—Transmission systems of control signals via wireless link
- G08C2201/50—Receiving or transmitting feedback, e.g. replies, status updates, acknowledgements, from the controlled devices
- G08C2201/51—Remote controlling of devices based on replies, status thereof
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Closed-Circuit Television Systems (AREA)
- Selective Calling Equipment (AREA)
- Toys (AREA)
Description
【技術分野】
【０００１】
本発明は、ゆらぎ補正による画像表示方法及びその方法を用いた動体リモートコントロールシステムに係り、より詳細には、ゆらぎ補正による画像表示方法及びその方法を用いた、オペレーションマシンの操作者の操縦により、模型自動車、模型飛行機、模型ボート、ロボット、産業用ロボットのアーム等の動体の走行やスピード制御等を遠隔的に行なうリモートコントロール機能を備えた動体リモートコントロールシステムに関する。
【背景技術】
【０００２】
撮影領域等を遠隔操作で変更できる遠隔カメラ装置や遠隔監視システム装置が提案されている。このような遠隔カメラ装置として、例えば、伝送遅延や信号処理遅延による監視カメラ部の制御行き過ぎ量を補正することのできる遠隔カメラ装置が提案されている（特開平６−３８０８７号公報）。遠隔監視システム装置としては、例えば、カメラを動作させているときに受信側で表示する画像を、その時点でカメラが撮影している範囲に近づくようにシフトして表示し、あたかも画像の遅れが発生していないように見えるように表示範囲を加工し、カメラの遠隔操作による遅延を感じられないような監視システム装置が提案されている（特開２００２−１８５９５６号公報）。
【０００３】
しかしながら、これらの技術は、有線回線による動画伝送を前提としており、固定遅延時間分の補正を行なうことにより、違和感のない動画を伝送することができるが、インターネットや無線ＬＡＮによる動画伝送を行なう場合には、均一な通信速度が得られないために、動画データの到達時間にゆらぎが発生する。
【０００４】
即ち、通信の遅れがバラつくことにより描画タイミングがバラつき、時には通信エラーによるデータ消失が起こり、その結果、動画に違和感を感じる事態が発生する（図２０乃至２２参照）。
【０００５】
このような訳で、例えばカメラを模型自動車等の動体に搭載して、パーソナルコンピュータ等のモニタでカメラからの映像を見ながら操作するような場合は、このゆらぎが動画データの不連続性を生み、操作者が模型自動車等の動きを予想できなくなって、的確な操作が困難となり、遠隔操作の操縦性が悪くなる。
【０００６】
この対策として従来は、ゆらぎ変化範囲をカバーする量の動画データを受信側で蓄積することにより、ゆらぎを抑えるという方法が採られている。しかし、この手法の場合、動画データの蓄積分の動画遅延が発生するという問題が生ずる。
【０００７】
特許文献１ 特開平６−３８０８７号公報
特許文献２ 特開２００２−１８５９５６号公報
【発明が解決しようとする課題】
【０００８】
本発明は上記問題を解決することを課題としてなされたもので、遠隔地に設置されたカメラを搭載した模型自動車、ロボットアーム等の動体からインターネットを介して接続されるパーソナルコンピュータ等に動画伝送を行なう場合に、ゆらぎ補正処理を行なうことにより、不自然さのない映像が得られる画像表示方法、並びに、この方法を採用することにより、的確な遠隔操作が可能となる動体リモートコントロールシステムを提供することを課題とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するための請求項１に記載の発明は、模型自動車、ロボットアーム等の動体に搭載されたカメラからの受信画像のモニタ表示を見ながら前記動体を遠隔制御可能にするための前記モニタへの前記受信画像の表示を行なうオペレーションマシンにおいて、前記受信画像の前記モニタへの描画は予め定められた描画タイミング間隔で行ない、且つ、前記描画画像は、前記受信画像を遅れ処理した予測画像とし、前記遅れ処理した予測画像は、前記描画タイミング時のシステム時刻から、そのとき受信している画像情報に付加されているタイムスタンプを差し引いた遅れ予測時間分の補正を行った擬似的画像であることを特徴とするゆらぎ補正による画像表示方法である。
【００１０】
請求項２に記載の発明は、請求項１に記載のゆらぎ補正による画像表示方法において、前記遅れ処理した予測画像が、前記受信画像を、前記遅れ予測時間と前記動体の移動速度、振れ角度、バッテリー電圧値等のセンサー情報に基いて画像処理したものであることを特徴とする。
【００１１】
請求項３に記載の発明は、請求項２に記載のゆらぎ補正による画像表示方法において、前記画像処理が、前記センサー情報に基いて前記受信画像をズームし及び／又は上下、左右、斜めにシフトしたものであることを特徴とする。
【００１２】
上記課題を解決するための請求項４に記載の発明は、模型自動車、ロボットアーム等の動体からの画像情報に基づいて前記動体を遠隔制御するためのオペレーションマシンを備えた動体リモートコントロールシステムであって、
前記オペレーションマシンは、
前記動体に搭載されたカメラからの画像情報とセンサー情報とを受信する画像描画用情報受信手段と、
前記受信した画像描画用情報内の画像データを伸張する画像伸張手段と、
前記伸張した画像データを、受信した前記センサー情報に基づいて加工する画像加工手段と、
コントローラによって入力された操作入力値を前記動体に対する制御情報へ変換処理する操作入力手段と、
前記操作入力手段によって生成された制御情報を前記動体へ送信する制御情報送信手段とを備え、
前記動体は、
前記搭載カメラの画像に内部時計の時刻をタイムスタンプとして付加し、前記オペレーションマシンへ送信する画像情報として画像圧縮する画像圧縮手段と、前記速度センサーからの前記動体の移動速度及びバッテリーからのバッテリー電圧値を、前記オペレーションマシンへ送信するセンサー情報として取り込むセンサー取込手段と、前記画像情報と前記センサー情報とを画像描画用情報として前記オペレーションマシンへ送信する画像描画用情報送信手段と、前記オペレーションマシンから前記制御情報を受信する制御情報受信手段と、受信した前記制御情報に基づいてサーボ及びモータを制御する制御処理手段、とを備えることを特徴とする動体リモートコントロールシステムである。
【００１３】
前記画像加工手段は、前記伸張された画像データを、受信した前記センサー情報に基づいて、出力するタイミング及び表示させる画像の描画エリアを調整するものであることを特徴とする。
【００１４】
請求項５に記載の発明は、請求項４に記載の動体リモートコントロールシステムにおいて、前記画像加工手段が、前記伸張された画像データに格納されたタイムスタンプの時刻を現在のシステム時刻から差し引いた描画遅れ時間を算出し、前記描画遅れ時間と前記動体の移動速度から画像拡大率を算出すると共に、前記描画遅れ時間と振れ位置から上下、左右又は斜め方向への画像シフト量を算出し、前記画像拡大率と前記画像シフト量とから前記描画エリアを指定することを特徴とする。
【００１５】
請求項６に記載の発明は、請求項４に記載の動体リモートコントロールシステムにおいて、前記センサー情報が、前記動体に搭載の速度センサーからの速度値と、バッテリーの電圧値とを含むことを特徴とする。
【００１６】
本発明に係るゆらぎ補正による画像表示方法によれば、受信画像から画像処理して得られた予測画像（擬似的画像）が定間隔置きに表示されるためにゆらぎがなくなり、遠隔地に設置されたカメラを搭載した模型自動車、ロボットアーム等の動体からインターネットを介して接続されるパーソナルコンピュータ等に動画伝送を行なう場合に、このゆらぎ補正処理を行なうことにより、不自然さのない映像が得られ、以て的確な遠隔操作が可能となる。
【発明を実施するための形態】
【００１７】
以下、本発明の好適な実施形態について、添付図面を参照して詳細に説明する。以下の説明は、動体が模型自動車の場合のものであるが、他の模型飛行機、模型ボート、あるいは、ロボットないし産業用ロボットのアーム等の動体の場合にも当てはまる。
【００１８】
図１は、模型自動車１とオペレーションマシン２から成る、本発明に係る動体リモートコントロールシステムの全体構成を表したものである。このシステムは、カメラを搭載した動体である模型自動車１と、模型自動車１から離れた場所で模型自動車１を操縦する操作者のモニタ付きオペレーションマシン２と、インターネット４等の通信手段とから構成されている。
【００１９】
オペレーションマシン２では、そのモニタに模型自動車１のカメラ映像が出力される。操作者は、模型自動車１のカメラ映像を見ながらステアリングコントローラ、ジョイスティック等のゲームコントローラその他のコントローラ３で制御情報を入力して、模型自動車１を操縦することが可能である。そして、当該制御情報を受け取った模型自動車１では、その車載コンピュータにより当該制御情報から各制御用データが読み込まれ、既に駆動されているサーボ（操舵）や駆動モータが制御されることにより、模型自動車１は、オペレーションマシン２で入力された制御情報に従って動作することが可能になる。
【００２０】
図２は、本実施形態における模型自動車１の構成を表したブロック図である。本実施形態における模型自動車１は、無線ＬＡＮに接続されており、模型自動車１内のセンサーからセンサー情報生成を行なう機能や、カメラキャプチャー画像にタイムスタンプ値の付加等を行なう画像情報生成機能等の送信情報処理機能の他、サーボや駆動モータに対して所定の処理を行なう制御機能も備えている。本実施形態の模型自動車１では、画像情報生成機能を実現するためのカメラ５、センサー情報生成機能を実現するための車速センサー６、バッテリー７、制御機能を実現するためのサーボ８及び駆動モータ９、９ａ、ギアボックス１０、１０ａ、並びに、各種機能処理手段として機能する車載コンピュータ１１を備えている。
【００２１】
車載コンピュータ１１は、各装置の制御やデータの計算・加工を行なうＣＰＵ、一度書き込んだ内容は消去できないが電源を切っても内容が消えないＦ−ＲＯＭ、半導体素子を利用したＲＡＭ、内部時計１３、ビデオキャプチャー部１２、画像圧縮部、センサー入力部１６、モータ制御部１５、無線ＬＡＮ通信部１４を備えている。
【００２２】
また、車載コンピュータ１１には、カメラ５、車速センサー６、バッテリー７、サーボ８、及び駆動モータ９、９ａが接続されており（図２、図３参照）、図４に示すように、オペレーションマシン２へ送信する情報の処理と、オペレーションマシン２から受信した情報の処理を行なう。
【００２３】
オペレーションマシン２へ送信する情報の処理としては、ビデオキャプチャー部１２からの画像に内部時計１３のタイムスタンプ値を付加して画像を圧縮する画像圧縮処理と、車速センサー６によって得られた車速とバッテリー電圧値をセンサー情報として取り込むセンサー取込処理とがある。オペレーションマシン２から受信した情報の処理はモータ制御処理で、受信した制御情報に従って、サーボ８及び駆動モータ９、９ａを制御する。
【００２４】
本実施形態のオペレーションマシン２は、車載カメラ５の映像のうちの所定の描画エリアをモニタに表示する。そして、模型自動車１に設置されているセンサー等の検出結果から模型自動車１の状態を認識、判断し、その結果に応じた車載カメラ映像やスピードメーター表示やバッテリー残量表示を出力するという機能を、この模型自動車１からの画像情報やセンサー情報と連動して実行する。例えば、「画像データ、タイムスタンプ、車速、バッテリー電圧値」等の画像描画用情報を受信する処理を行ない、この画像描画用情報に含まれる画像情報、センサー情報を判別して、次の映像に応じた処理を実行する。
【００２５】
ここで、上記システムに採用される本発明に係るゆらぎ補正による画像表示方法について、より詳細に説明する。該画像表示方法は、ネットワークを介して受信する模型自動車等の動体のカメラからの画像のモニタ表示を見ながら前記動体を遠隔制御可能にするための前記モニタへの前記受信画像の表示を行なうオペレーションマシンにおいて、前記受信画像の前記モニタへの描画が予め定められた描画タイミング間隔で行なわれ、且つ、前記描画画像が、前記受信画像を遅れ処理した予測画像であることを特徴とする。
【００２６】
前記遅れ処理した予測画像は、前記描画タイミング時のシステム時刻から、そのとき受信している画像情報に付加されているタイムスタンプを差し引いた遅れ予測時間分の補正を行った擬似的画像であり、前記遅れ処理した予測画像は、前記受信画像を、前記遅れ予測時間と車速、操舵角度（振れ角度）、バッテリー電圧値等のセンサー情報に基いて画像処理したものであり、また、前記画像処理は、前記センサー情報に基いて前記受信画像をズームし及び／又は左右にシフトしたものである。
【００２７】
このゆらぎ補正の方法について、図５乃至図８を参照して詳細に説明する。図５において、送り側画像の段のＳａ、Ｓｂ、Ｓｃ、Ｓｄ、Ｓｅは、カメラからの画像取り込み時の撮像時刻を示し、ゆらぎの段のＳａ、Ｓｂ、Ｓｃ、Ｓｄ、Ｓｅは、画像情報にカメラからの画像取り込み時の撮像時刻が付加されたタイムスタンプを示し、受け側画像描画の段のＴａ、Ｔｂ、Ｔｃ、Ｔｄ、Ｔｅは、描画タイミング時刻を示している。
【００２８】
受け側画像描画では、等間隔で遅れ予測画像が描画されることになるので、描画タイミングにバラつきがなく、換言すれば、ゆらぎがなく、スムーズな動画が得られることになる。その遅れ予測時間ｔは、描画タイミング時刻Ｔから、そのとき受信している画像情報に付加されているタイムスタンプＳを差し引いた時間Ｔ−Ｓである。
【００２９】
図６乃至図８は、オペレーションマシン２の遅れ予測画像の描画機能について説明するものである。オペレーションマシン２は、図６に示されるように、受信画像上の描画エリアを指定することで、その範囲をビデオメモリにメモリ転送する機能を有する。この機能によって、受信画像の任意のエリアを表示することが可能となる。
【００３０】
また、図７は、模型自動車１の直進時の描画エリアの変化について説明するものであり、そこには、模型自動車１がＡ地点からＢ地点へ直進した場合の、オペレーションマシン２のモニタに表示される領域の変化が示されている。この描画エリアの変化を見ても分かるように、単に模型自動車１が直進する場合には、受信画像に対して視点の中心を変えずに、領域だけを中心へズームさせればよい。この場合のズーム量は、センサー情報である車速から算出される。
【００３１】
更に、図８は、模型自動車１の右カーブ時の描画エリアの変化について説明するものであり、そこには、模型自動車１が右カーブしようとＡ地点からＢ地点へ移動した場合の、オペレーションマシン２のモニタに表示される領域の変化が示されている。この描画エリアの変化を見ても分かるように、模型自動車１が右カーブする場合には、受信画像に対して徐々に視点の中心を右側へ移動させながらズームさせればよい。この場合のズーム量及びシフト量は、センサー情報である車速と操舵角度から算出される。
【００３２】
このように、本発明に係る画像表示方法においては、センサー情報を利用して、受信画像の遅れ予測時間経過時の遅れ予測画像を生成し、これを描画タイミング時刻に描画するので、通信のゆらぎが是正され、不自然さのないリアルタイムの動画が得られるのである。
【００３３】
次に、上記画像表示方法を採用した本発明に係るシステムの、模型自動車１、オペレーションマシン２、及び操作者の操作による一連の処理の流れを、図９のフローチャートを参照して簡単に説明する。まず、模型自動車１では、カメラ画像に内部時計１３によるタイムスタンプが付されて画像圧縮処理され、この画像情報がオペレーションマシン２へ送信される第１のデータとされる。
【００３４】
また、車速センサー６で得られた車速値と、バッテリー電圧値とがセンサー取込処理によって取り込まれ、センサー情報としてオペレーションマシン２へ送信される第２のデータとされる。
【００３５】
画像圧縮処理により生成された画像情報、センサー取込処理により生成されたセンサー情報は、オペレーションマシン２へ送信される情報として通信処理によって送信される。オペレーションマシン２は、この情報を通信処理によって受信し、画像情報を画像伸張処理へ、また、センサー情報を画像加工処理へそれぞれ引き渡す。画像伸張処理では、画像情報内の画像データを伸張し、画像加工処理へ引き渡す。画像加工処理では、伸張された画像データ、タイムスタンプ、センサー情報からモニタに描画する画像を生成してモニタに出力する。
【００３６】
操作者は、モニタに映し出されたカメラからの映像を見ながらゲームコントローラを操作する。ゲームコントローラの操作によって入力された制御情報は、通信処理によって模型自動車１へ送信され、模型自動車１では、受信した制御情報を基に、サーボ６、駆動モータ７、７ａを制御する。
【００３７】
以下、上述した図９のフローチャートにおける各処理について詳細に説明する。まず、本発明に係る車載コンピュータ１１の無線ＬＡＮ通信処理を、図１０のフローチャートに基づいて説明する。車載コンピュータ１１の無線ＬＡＮ通信部１４（図３参照）は、平時は、オペレーションマシン２からのシステム接続情報を受信するために待機している（Ｓ１０１）。
【００３８】
そして、情報を受信すると、それがオペレーションマシン２からのシステム接続情報であるかどうかを確認し（Ｓ１０２）、オペレーションマシン２からのシステム接続情報であれば、認証コードが正常かどうかの確認をする（Ｓ１０３）。
【００３９】
接続コードが正常であれば、送信元のオペレーションマシン２へ接続応答情報を送信してシステム状態を接続中へ切り替え（Ｓ１０４、Ｓ１０５）、内部時計１３をシステム接続情報中のシステム時刻データに合わせる（Ｓ１０６）。
【００４０】
オペレーションマシン２からの受信情報がシステム接続情報ではない場合には（Ｓ１０２）、それが制御情報であれば（Ｓ１０７）、システム状態が接続中であるかどうかのチェックを行なう（Ｓ１０８）。システムが接続中であれば、モータ制御処理へ制御情報を受け渡し（Ｓ１０９）、内部時計調時処理を行なう（Ｓ１１０）。もし、制御情報の受信エラーが発生した場合には（Ｓ１１１）、システム状態を未接続に切り替える（Ｓ１１２）。
【００４１】
システム情報を受信していないときには、逆に、オペレーションマシン２へ送信情報があるかどうかのチェックを行ない（Ｓ１１３）、送信情報があれば、システム状態が接続中であるかどうかを確認して（Ｓ１１４）、送信情報を送信する（Ｓ１１５）。
【００４２】
本発明に係る車載コンピュータ１１の画像圧縮処理を、図１１のフローチャートを参照して説明する。車載コンピュータ１１は、平時、オペレーションマシン２とシステム上接続されているかどうかの判断をしており（Ｓ２０１）、接続されていれば、ビデオキャプチャーを開始する（Ｓ２０２）。 キャプチャーされた画像は圧縮され（Ｓ２０３）、内部時計１３から生成されたタイムスタンプが付加されて画像情報が作成され（Ｓ２０４、Ｓ２０５）、無線ＬＡＮ通信処理へ受け渡される（Ｓ２０６）。
【００４３】
次いで、本発明に係る車載コンピュータ１１のモータ制御処理及びセンサー入力処理を、図１２のフローチャートを参照して説明する。モータ制御部１５は、平時は、オペレーションマシン２からの制御情報の受信に備えて待機している（Ｓ３０１）。制御情報を受信すると、制御情報に含まれている駆動モータ値、サーボ位置の情報に従って、駆動モータ９、９ａ及びサーボ８を制御するように出力する（Ｓ３０２、Ｓ３０３）。
【００４４】
モータ制御処理で制御された直後の車速、バッテリー電圧値をオペレーションマシン２へ送信するセンサー情報として利用するために、モータ制御処理で駆動モータ９、９ａ、サーボ８が制御されると、連動してセンサー入力処理が開始される（Ｓ３０４）。
【００４５】
センサー入力部１６では、モータ制御部１５のモータ制御処理による処理起動命令を受けると（Ｓ４０１）、車速センサー６から車速、バッテリー７からバッテリー電圧をそれぞれ取り込み（Ｓ４０２、Ｓ４０３）、それらを元にセンサー情報を作成し（Ｓ４０４）、オペレーションマシン２へセンサー情報を送信するために、無線ＬＡＮ通信部１４へセンサー情報を受け渡す（Ｓ４０５）。
【００４６】
次に、本発明に係る車載コンピュータ１１の内部時計調時処理を、図１３のフローチャートを参照して説明する。内部時計調時処理では、制御情報の送信時間、通信遅延時間から内部時計１３とオペレーションマシン２のシステム時刻の時間差を割り出し、調時時間を算出する（Ｓ５０１〜Ｓ５０３）。調時時間は、時間差の２０分の１とし、急激な変化を吸収する。この処理は、オペレーションマシン２がシステム接続されたときに行なわれる。
【００４７】
算出された調時時間が１ｍｓ未満であれば内部時計１３は再設定されないが、１ｍｓ以上であれば、内部時計１３の時間に調時時間を加えて内部時計１３を再設定する（Ｓ５０４、Ｓ５０５）。
【００４８】
オペレーションマシン２は、模型自動車１を遠隔操作するためのプログラムが記憶されたパーソナルコンピュータである。操作者は、オペレーションマシン２を操作して模型自動車１をリモートコントロールすることができる。
【００４９】
オペレーションマシン２で行なわれる処理は、図１４に示すように、模型自動車１から送信されたデータに基づく処理と、操作者によるゲームコントローラ３からの入力に基づく処理に大別される。
【００５０】
模型自動車１から送信されたデータに基づく処理は、無線ＬＡＮ通信処理で受信した画像情報を伸張する画像伸張処理と、画像伸張処理によって伸張された画像を、受信したセンサー情報に基づいてモニタに映し出すためのビデオ信号を生成する画像加工処理である。
【００５１】
一方、操作者によるゲームコントローラ３からの入力に基づく処理は、操作入力処理として図示されているが、ここで処理された制御情報が、無線ＬＡＮ通信処理によって模型自動車１へ送信される。
【００５２】
本発明に係るオペレーションマシン２の無線ＬＡＮ通信処理を、図１５のフローチャートを参照して説明する。オペレーションマシン２の無線ＬＡＮ通信処理では、平時、模型自動車１との接続が保たれているかどうかのチェックがなされる（Ｓ６０１）。
【００５３】
模型自動車１との接続が保たれていない場合には、前回接続時に送信したシステム接続情報を送信してから指定時間経過したかどうかを判断して（Ｓ６０２）、指定時間経過している場合には、再度、システム接続情報を送信する（Ｓ６０３）。
【００５４】
そして、模型自動車１からの接続応答情報が受信されれば（Ｓ６０４）、その応答コードから正常接続されたかどうかを判断して（Ｓ６０５）、正常に接続されていれば、システムの状態を接続中へ切り替える（Ｓ６０６）。
【００５５】
模型自動車１との接続が保たれている場合には（Ｓ６０１）、常に、模型自動車１からの受信情報があるかどうかをチェックしている（Ｓ６０７）。模型自動車１からの受信情報が画像情報であれば（Ｓ６０８）、画像伸張処理プログラムへ画像情報が受け渡される（Ｓ６０９）。
【００５６】
受信情報が画像情報でなく、センサー情報であれば（Ｓ６１０）、現在時刻と通信時刻とから通信遅延時間を算出し（Ｓ６１１）、画像加工処理へセンサー情報を受け渡し（Ｓ６１２）、通信監視タイマーをリセットする（Ｓ６１３）。
【００５７】
模型自動車１からの受信情報がないときには、逆に模型自動車１への送信情報があるかどうかをチェックしており（Ｓ６１４）、送信情報があれば、送信情報を送信して（Ｓ６１５）、通信監視タイマーをリセットする（Ｓ６１６）。受信情報も送信情報もない状態が続き、通信監視時間がタイムアウトしてしまうと（Ｓ６１７）、システム状態が未接続に切り替わる（Ｓ６１８）。
【００５８】
本発明に係るオペレーションマシン２の画像伸張処理を、図１６のフローチャートを参照して説明する。オペレーションマシン２の画像伸張処理では、平時、模型自動車１からの画像情報の受信に備えて待機している（Ｓ７０１）。そして、画像情報を受信すると、画像情報に含まれるタイムスタンプを格納し（Ｓ７０２）、画像データを伸張して、１フレーム分の画像を画像加工処理へ受け渡す（Ｓ７０３）。
【００５９】
続いて、本発明に係るオペレーションマシン２の画像加工処理を、図１７のフローチャートを参照して説明する。オペレーションマシン２の画像加工処理では、システムに接続された状態で画像伸張処理された画像が更新されると（Ｓ８０１、Ｓ８０２）、まず、更新された画像に格納されたタイムスタンプの時刻を現在のシステム時刻から差し引いた時間、即ち、描画遅れ時間を算出する（Ｓ８０３）。描画遅れ時間が算出されると、その描画遅れ時間と車速から画像拡大率を算出し（Ｓ８０４）、描画遅れ時間と操舵位置から画像左右シフト量を算出する（Ｓ８０５）。
【００６０】
そして、算出された画像拡大率、画像左右シフト量から描画エリアを指定し（Ｓ８０６）、ビデオメモリに転送される（Ｓ８０７）。一方、センサー情報内の車速データとバッテリー電圧データを元に、スピードメーター、バッテリー残量の上書き描画も行なわれる（Ｓ８０８）。
【００６１】
本発明に係るオペレーションマシン２の操作入力処理を、図１８のフローチャートを参照して説明する。本実施形態におけるオペレーションマシン２では、システムの制御周期を５０ｍｓとし、ゲームコントローラ３からの入力が５０ｍｓの定周期で入力されているかどうかが監視される（Ｓ９０１）。そして、ゲームコントローラ３から５０ｍｓの定周期で入力があると、そのステアリング値、アクセル・ブレーキペダル値を取り込む（Ｓ９０２）。そして、その取り込まれたステアリング値を操舵位置として、アクセル・ブレーキペダル値を駆動モータ値として変換し、これを模型自動車１へ送信するための制御値とする（Ｓ９０３）。
【００６２】
変換された制御値に変化がなく（Ｓ９０４）、前回制御情報を送信してから５００ｍｓ以上送信履歴がなければ（Ｓ９０５）、現在の制御値から制御情報を作成し、無線ＬＡＮ通信処理へ受け渡す（Ｓ９０６）。変換された制御値に変化があれば、新しい制御値から制御情報を作成し、無線ＬＡＮ通信処理へ受け渡す（Ｓ９０６）。
【００６３】
本発明における通信データをまとめると、図１９に示すとおりである。即ち、オペレーションマシン２をシステムに接続する際に送信されるシステム接続情報は、認証コードとシステム時刻とで構成される。ここで、認証コードとは、オペレーションマシン２がシステム接続を行なうためのコードであり、システム時刻とは、オペレーションマシン２の時刻であり、システム接続時に車載コンピュータ１１の内部時計１３を調時するために利用される。
【００６４】
この発明をある程度詳細にその最も好ましい実施形態について説明してきたが、この発明の精神と範囲に反することなしに広範に異なる実施形態を構成することができることは明白なので、この発明は添付請求の範囲において限定した以外はその特定の実施形態に制約されるものではない。
【００６５】
例えば、上記のとおり、動体として模型自動車について説明してきたが、本発明に係る方法による制御の対象となる動体はそれに限られる訳ではなく、模型飛行機、模型ボート、ロボット、産業用ロボットのアーム、産業用機器その他種々の動体が含まれることは言うまでもない。
【００６６】
そして、模型自動車の場合には、振れ角度は左右方向の操舵角度であるが、例えば産業用ロボットのアームの場合は、その振れ方向は上下方向又は斜め方向である場合があり、それに伴ない、画像処理において受信画像を上下方向又は斜め方向にシフトすることもある。
【図面の簡単な説明】
【００６７】
図１ 本発明の一実施形態におけるオペレーションマシンを使用した、模型自動車用リモートコントロールシステムについてのシステム構成図を表したものである。
図２ 本発明の一実施形態における模型自動車の構成を示すブロック図である。
図３ 車載コンピュータの構成図である。
図４ 車載コンピュータの処理を示すブロック図である。
図５ ゆらぎ補正を説明するための図である。
図６ オペレーションマシンの描画機能を説明するための図である。
図７ 模型自動車の直進時の描画エリアの変化を示す図である。
図８ 模型自動車の右カーブ時の描画エリアの変化を示す図である。
図９ ハードウェアと操作者による一連の処理のフローチャートである。
図１０ 模型自動車側の通信処理のフローチャートである。
図１１ 画像圧縮処理のフローチャートである。
図１２ モータ操作処理とセンサー入力処理のフローチャートである。
図１３ 内部時計調時処理のフローチャートである。
図１４ オペレーションマシンの処理を示すブロック図である。
図１５ オペレーションマシン側の通信処理のフローチャートである。
図１６ 画像伸張処理のフローチャートである。
図１７ 画像加工処理のフローチャートである。
図１８ 操作入力処理のフローチャートである。
図１９ 模型自動車用リモートコントロールシステムの通信データの構成図である。
図２０ 通信のゆらぎを説明するための図である。
図２１ ゆらぎによるフレーム描画タイミングへの影響を説明するための図である。
図２２ エラーによるフレーム描画タイミングへの影響を説明するための図である。
【０００１】
本発明は、ゆらぎ補正による画像表示方法及びその方法を用いた動体リモートコントロールシステムに係り、より詳細には、ゆらぎ補正による画像表示方法及びその方法を用いた、オペレーションマシンの操作者の操縦により、模型自動車、模型飛行機、模型ボート、ロボット、産業用ロボットのアーム等の動体の走行やスピード制御等を遠隔的に行なうリモートコントロール機能を備えた動体リモートコントロールシステムに関する。
【背景技術】
【０００２】
撮影領域等を遠隔操作で変更できる遠隔カメラ装置や遠隔監視システム装置が提案されている。このような遠隔カメラ装置として、例えば、伝送遅延や信号処理遅延による監視カメラ部の制御行き過ぎ量を補正することのできる遠隔カメラ装置が提案されている（特開平６−３８０８７号公報）。遠隔監視システム装置としては、例えば、カメラを動作させているときに受信側で表示する画像を、その時点でカメラが撮影している範囲に近づくようにシフトして表示し、あたかも画像の遅れが発生していないように見えるように表示範囲を加工し、カメラの遠隔操作による遅延を感じられないような監視システム装置が提案されている（特開２００２−１８５９５６号公報）。
【０００３】
しかしながら、これらの技術は、有線回線による動画伝送を前提としており、固定遅延時間分の補正を行なうことにより、違和感のない動画を伝送することができるが、インターネットや無線ＬＡＮによる動画伝送を行なう場合には、均一な通信速度が得られないために、動画データの到達時間にゆらぎが発生する。
【０００４】
即ち、通信の遅れがバラつくことにより描画タイミングがバラつき、時には通信エラーによるデータ消失が起こり、その結果、動画に違和感を感じる事態が発生する（図２０乃至２２参照）。
【０００５】
このような訳で、例えばカメラを模型自動車等の動体に搭載して、パーソナルコンピュータ等のモニタでカメラからの映像を見ながら操作するような場合は、このゆらぎが動画データの不連続性を生み、操作者が模型自動車等の動きを予想できなくなって、的確な操作が困難となり、遠隔操作の操縦性が悪くなる。
【０００６】
この対策として従来は、ゆらぎ変化範囲をカバーする量の動画データを受信側で蓄積することにより、ゆらぎを抑えるという方法が採られている。しかし、この手法の場合、動画データの蓄積分の動画遅延が発生するという問題が生ずる。
【０００７】
特許文献１ 特開平６−３８０８７号公報
特許文献２ 特開２００２−１８５９５６号公報
【発明が解決しようとする課題】
【０００８】
本発明は上記問題を解決することを課題としてなされたもので、遠隔地に設置されたカメラを搭載した模型自動車、ロボットアーム等の動体からインターネットを介して接続されるパーソナルコンピュータ等に動画伝送を行なう場合に、ゆらぎ補正処理を行なうことにより、不自然さのない映像が得られる画像表示方法、並びに、この方法を採用することにより、的確な遠隔操作が可能となる動体リモートコントロールシステムを提供することを課題とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するための請求項１に記載の発明は、模型自動車、ロボットアーム等の動体に搭載されたカメラからの受信画像のモニタ表示を見ながら前記動体を遠隔制御可能にするための前記モニタへの前記受信画像の表示を行なうオペレーションマシンにおいて、前記受信画像の前記モニタへの描画は予め定められた描画タイミング間隔で行ない、且つ、前記描画画像は、前記受信画像を遅れ処理した予測画像とし、前記遅れ処理した予測画像は、前記描画タイミング時のシステム時刻から、そのとき受信している画像情報に付加されているタイムスタンプを差し引いた遅れ予測時間分の補正を行った擬似的画像であることを特徴とするゆらぎ補正による画像表示方法である。
【００１０】
請求項２に記載の発明は、請求項１に記載のゆらぎ補正による画像表示方法において、前記遅れ処理した予測画像が、前記受信画像を、前記遅れ予測時間と前記動体の移動速度、振れ角度、バッテリー電圧値等のセンサー情報に基いて画像処理したものであることを特徴とする。
【００１１】
請求項３に記載の発明は、請求項２に記載のゆらぎ補正による画像表示方法において、前記画像処理が、前記センサー情報に基いて前記受信画像をズームし及び／又は上下、左右、斜めにシフトしたものであることを特徴とする。
【００１２】
上記課題を解決するための請求項４に記載の発明は、模型自動車、ロボットアーム等の動体からの画像情報に基づいて前記動体を遠隔制御するためのオペレーションマシンを備えた動体リモートコントロールシステムであって、
前記オペレーションマシンは、
前記動体に搭載されたカメラからの画像情報とセンサー情報とを受信する画像描画用情報受信手段と、
前記受信した画像描画用情報内の画像データを伸張する画像伸張手段と、
前記伸張した画像データを、受信した前記センサー情報に基づいて加工する画像加工手段と、
コントローラによって入力された操作入力値を前記動体に対する制御情報へ変換処理する操作入力手段と、
前記操作入力手段によって生成された制御情報を前記動体へ送信する制御情報送信手段とを備え、
前記動体は、
前記搭載カメラの画像に内部時計の時刻をタイムスタンプとして付加し、前記オペレーションマシンへ送信する画像情報として画像圧縮する画像圧縮手段と、前記速度センサーからの前記動体の移動速度及びバッテリーからのバッテリー電圧値を、前記オペレーションマシンへ送信するセンサー情報として取り込むセンサー取込手段と、前記画像情報と前記センサー情報とを画像描画用情報として前記オペレーションマシンへ送信する画像描画用情報送信手段と、前記オペレーションマシンから前記制御情報を受信する制御情報受信手段と、受信した前記制御情報に基づいてサーボ及びモータを制御する制御処理手段、とを備えることを特徴とする動体リモートコントロールシステムである。
【００１３】
前記画像加工手段は、前記伸張された画像データを、受信した前記センサー情報に基づいて、出力するタイミング及び表示させる画像の描画エリアを調整するものであることを特徴とする。
【００１４】
請求項５に記載の発明は、請求項４に記載の動体リモートコントロールシステムにおいて、前記画像加工手段が、前記伸張された画像データに格納されたタイムスタンプの時刻を現在のシステム時刻から差し引いた描画遅れ時間を算出し、前記描画遅れ時間と前記動体の移動速度から画像拡大率を算出すると共に、前記描画遅れ時間と振れ位置から上下、左右又は斜め方向への画像シフト量を算出し、前記画像拡大率と前記画像シフト量とから前記描画エリアを指定することを特徴とする。
【００１５】
請求項６に記載の発明は、請求項４に記載の動体リモートコントロールシステムにおいて、前記センサー情報が、前記動体に搭載の速度センサーからの速度値と、バッテリーの電圧値とを含むことを特徴とする。
【００１６】
本発明に係るゆらぎ補正による画像表示方法によれば、受信画像から画像処理して得られた予測画像（擬似的画像）が定間隔置きに表示されるためにゆらぎがなくなり、遠隔地に設置されたカメラを搭載した模型自動車、ロボットアーム等の動体からインターネットを介して接続されるパーソナルコンピュータ等に動画伝送を行なう場合に、このゆらぎ補正処理を行なうことにより、不自然さのない映像が得られ、以て的確な遠隔操作が可能となる。
【発明を実施するための形態】
【００１７】
以下、本発明の好適な実施形態について、添付図面を参照して詳細に説明する。以下の説明は、動体が模型自動車の場合のものであるが、他の模型飛行機、模型ボート、あるいは、ロボットないし産業用ロボットのアーム等の動体の場合にも当てはまる。
【００１８】
図１は、模型自動車１とオペレーションマシン２から成る、本発明に係る動体リモートコントロールシステムの全体構成を表したものである。このシステムは、カメラを搭載した動体である模型自動車１と、模型自動車１から離れた場所で模型自動車１を操縦する操作者のモニタ付きオペレーションマシン２と、インターネット４等の通信手段とから構成されている。
【００１９】
オペレーションマシン２では、そのモニタに模型自動車１のカメラ映像が出力される。操作者は、模型自動車１のカメラ映像を見ながらステアリングコントローラ、ジョイスティック等のゲームコントローラその他のコントローラ３で制御情報を入力して、模型自動車１を操縦することが可能である。そして、当該制御情報を受け取った模型自動車１では、その車載コンピュータにより当該制御情報から各制御用データが読み込まれ、既に駆動されているサーボ（操舵）や駆動モータが制御されることにより、模型自動車１は、オペレーションマシン２で入力された制御情報に従って動作することが可能になる。
【００２０】
図２は、本実施形態における模型自動車１の構成を表したブロック図である。本実施形態における模型自動車１は、無線ＬＡＮに接続されており、模型自動車１内のセンサーからセンサー情報生成を行なう機能や、カメラキャプチャー画像にタイムスタンプ値の付加等を行なう画像情報生成機能等の送信情報処理機能の他、サーボや駆動モータに対して所定の処理を行なう制御機能も備えている。本実施形態の模型自動車１では、画像情報生成機能を実現するためのカメラ５、センサー情報生成機能を実現するための車速センサー６、バッテリー７、制御機能を実現するためのサーボ８及び駆動モータ９、９ａ、ギアボックス１０、１０ａ、並びに、各種機能処理手段として機能する車載コンピュータ１１を備えている。
【００２１】
車載コンピュータ１１は、各装置の制御やデータの計算・加工を行なうＣＰＵ、一度書き込んだ内容は消去できないが電源を切っても内容が消えないＦ−ＲＯＭ、半導体素子を利用したＲＡＭ、内部時計１３、ビデオキャプチャー部１２、画像圧縮部、センサー入力部１６、モータ制御部１５、無線ＬＡＮ通信部１４を備えている。
【００２２】
また、車載コンピュータ１１には、カメラ５、車速センサー６、バッテリー７、サーボ８、及び駆動モータ９、９ａが接続されており（図２、図３参照）、図４に示すように、オペレーションマシン２へ送信する情報の処理と、オペレーションマシン２から受信した情報の処理を行なう。
【００２３】
オペレーションマシン２へ送信する情報の処理としては、ビデオキャプチャー部１２からの画像に内部時計１３のタイムスタンプ値を付加して画像を圧縮する画像圧縮処理と、車速センサー６によって得られた車速とバッテリー電圧値をセンサー情報として取り込むセンサー取込処理とがある。オペレーションマシン２から受信した情報の処理はモータ制御処理で、受信した制御情報に従って、サーボ８及び駆動モータ９、９ａを制御する。
【００２４】
本実施形態のオペレーションマシン２は、車載カメラ５の映像のうちの所定の描画エリアをモニタに表示する。そして、模型自動車１に設置されているセンサー等の検出結果から模型自動車１の状態を認識、判断し、その結果に応じた車載カメラ映像やスピードメーター表示やバッテリー残量表示を出力するという機能を、この模型自動車１からの画像情報やセンサー情報と連動して実行する。例えば、「画像データ、タイムスタンプ、車速、バッテリー電圧値」等の画像描画用情報を受信する処理を行ない、この画像描画用情報に含まれる画像情報、センサー情報を判別して、次の映像に応じた処理を実行する。
【００２５】
ここで、上記システムに採用される本発明に係るゆらぎ補正による画像表示方法について、より詳細に説明する。該画像表示方法は、ネットワークを介して受信する模型自動車等の動体のカメラからの画像のモニタ表示を見ながら前記動体を遠隔制御可能にするための前記モニタへの前記受信画像の表示を行なうオペレーションマシンにおいて、前記受信画像の前記モニタへの描画が予め定められた描画タイミング間隔で行なわれ、且つ、前記描画画像が、前記受信画像を遅れ処理した予測画像であることを特徴とする。
【００２６】
前記遅れ処理した予測画像は、前記描画タイミング時のシステム時刻から、そのとき受信している画像情報に付加されているタイムスタンプを差し引いた遅れ予測時間分の補正を行った擬似的画像であり、前記遅れ処理した予測画像は、前記受信画像を、前記遅れ予測時間と車速、操舵角度（振れ角度）、バッテリー電圧値等のセンサー情報に基いて画像処理したものであり、また、前記画像処理は、前記センサー情報に基いて前記受信画像をズームし及び／又は左右にシフトしたものである。
【００２７】
このゆらぎ補正の方法について、図５乃至図８を参照して詳細に説明する。図５において、送り側画像の段のＳａ、Ｓｂ、Ｓｃ、Ｓｄ、Ｓｅは、カメラからの画像取り込み時の撮像時刻を示し、ゆらぎの段のＳａ、Ｓｂ、Ｓｃ、Ｓｄ、Ｓｅは、画像情報にカメラからの画像取り込み時の撮像時刻が付加されたタイムスタンプを示し、受け側画像描画の段のＴａ、Ｔｂ、Ｔｃ、Ｔｄ、Ｔｅは、描画タイミング時刻を示している。
【００２８】
受け側画像描画では、等間隔で遅れ予測画像が描画されることになるので、描画タイミングにバラつきがなく、換言すれば、ゆらぎがなく、スムーズな動画が得られることになる。その遅れ予測時間ｔは、描画タイミング時刻Ｔから、そのとき受信している画像情報に付加されているタイムスタンプＳを差し引いた時間Ｔ−Ｓである。
【００２９】
図６乃至図８は、オペレーションマシン２の遅れ予測画像の描画機能について説明するものである。オペレーションマシン２は、図６に示されるように、受信画像上の描画エリアを指定することで、その範囲をビデオメモリにメモリ転送する機能を有する。この機能によって、受信画像の任意のエリアを表示することが可能となる。
【００３０】
また、図７は、模型自動車１の直進時の描画エリアの変化について説明するものであり、そこには、模型自動車１がＡ地点からＢ地点へ直進した場合の、オペレーションマシン２のモニタに表示される領域の変化が示されている。この描画エリアの変化を見ても分かるように、単に模型自動車１が直進する場合には、受信画像に対して視点の中心を変えずに、領域だけを中心へズームさせればよい。この場合のズーム量は、センサー情報である車速から算出される。
【００３１】
更に、図８は、模型自動車１の右カーブ時の描画エリアの変化について説明するものであり、そこには、模型自動車１が右カーブしようとＡ地点からＢ地点へ移動した場合の、オペレーションマシン２のモニタに表示される領域の変化が示されている。この描画エリアの変化を見ても分かるように、模型自動車１が右カーブする場合には、受信画像に対して徐々に視点の中心を右側へ移動させながらズームさせればよい。この場合のズーム量及びシフト量は、センサー情報である車速と操舵角度から算出される。
【００３２】
このように、本発明に係る画像表示方法においては、センサー情報を利用して、受信画像の遅れ予測時間経過時の遅れ予測画像を生成し、これを描画タイミング時刻に描画するので、通信のゆらぎが是正され、不自然さのないリアルタイムの動画が得られるのである。
【００３３】
次に、上記画像表示方法を採用した本発明に係るシステムの、模型自動車１、オペレーションマシン２、及び操作者の操作による一連の処理の流れを、図９のフローチャートを参照して簡単に説明する。まず、模型自動車１では、カメラ画像に内部時計１３によるタイムスタンプが付されて画像圧縮処理され、この画像情報がオペレーションマシン２へ送信される第１のデータとされる。
【００３４】
また、車速センサー６で得られた車速値と、バッテリー電圧値とがセンサー取込処理によって取り込まれ、センサー情報としてオペレーションマシン２へ送信される第２のデータとされる。
【００３５】
画像圧縮処理により生成された画像情報、センサー取込処理により生成されたセンサー情報は、オペレーションマシン２へ送信される情報として通信処理によって送信される。オペレーションマシン２は、この情報を通信処理によって受信し、画像情報を画像伸張処理へ、また、センサー情報を画像加工処理へそれぞれ引き渡す。画像伸張処理では、画像情報内の画像データを伸張し、画像加工処理へ引き渡す。画像加工処理では、伸張された画像データ、タイムスタンプ、センサー情報からモニタに描画する画像を生成してモニタに出力する。
【００３６】
操作者は、モニタに映し出されたカメラからの映像を見ながらゲームコントローラを操作する。ゲームコントローラの操作によって入力された制御情報は、通信処理によって模型自動車１へ送信され、模型自動車１では、受信した制御情報を基に、サーボ６、駆動モータ７、７ａを制御する。
【００３７】
以下、上述した図９のフローチャートにおける各処理について詳細に説明する。まず、本発明に係る車載コンピュータ１１の無線ＬＡＮ通信処理を、図１０のフローチャートに基づいて説明する。車載コンピュータ１１の無線ＬＡＮ通信部１４（図３参照）は、平時は、オペレーションマシン２からのシステム接続情報を受信するために待機している（Ｓ１０１）。
【００３８】
そして、情報を受信すると、それがオペレーションマシン２からのシステム接続情報であるかどうかを確認し（Ｓ１０２）、オペレーションマシン２からのシステム接続情報であれば、認証コードが正常かどうかの確認をする（Ｓ１０３）。
【００３９】
接続コードが正常であれば、送信元のオペレーションマシン２へ接続応答情報を送信してシステム状態を接続中へ切り替え（Ｓ１０４、Ｓ１０５）、内部時計１３をシステム接続情報中のシステム時刻データに合わせる（Ｓ１０６）。
【００４０】
オペレーションマシン２からの受信情報がシステム接続情報ではない場合には（Ｓ１０２）、それが制御情報であれば（Ｓ１０７）、システム状態が接続中であるかどうかのチェックを行なう（Ｓ１０８）。システムが接続中であれば、モータ制御処理へ制御情報を受け渡し（Ｓ１０９）、内部時計調時処理を行なう（Ｓ１１０）。もし、制御情報の受信エラーが発生した場合には（Ｓ１１１）、システム状態を未接続に切り替える（Ｓ１１２）。
【００４１】
システム情報を受信していないときには、逆に、オペレーションマシン２へ送信情報があるかどうかのチェックを行ない（Ｓ１１３）、送信情報があれば、システム状態が接続中であるかどうかを確認して（Ｓ１１４）、送信情報を送信する（Ｓ１１５）。
【００４２】
本発明に係る車載コンピュータ１１の画像圧縮処理を、図１１のフローチャートを参照して説明する。車載コンピュータ１１は、平時、オペレーションマシン２とシステム上接続されているかどうかの判断をしており（Ｓ２０１）、接続されていれば、ビデオキャプチャーを開始する（Ｓ２０２）。 キャプチャーされた画像は圧縮され（Ｓ２０３）、内部時計１３から生成されたタイムスタンプが付加されて画像情報が作成され（Ｓ２０４、Ｓ２０５）、無線ＬＡＮ通信処理へ受け渡される（Ｓ２０６）。
【００４３】
次いで、本発明に係る車載コンピュータ１１のモータ制御処理及びセンサー入力処理を、図１２のフローチャートを参照して説明する。モータ制御部１５は、平時は、オペレーションマシン２からの制御情報の受信に備えて待機している（Ｓ３０１）。制御情報を受信すると、制御情報に含まれている駆動モータ値、サーボ位置の情報に従って、駆動モータ９、９ａ及びサーボ８を制御するように出力する（Ｓ３０２、Ｓ３０３）。
【００４４】
モータ制御処理で制御された直後の車速、バッテリー電圧値をオペレーションマシン２へ送信するセンサー情報として利用するために、モータ制御処理で駆動モータ９、９ａ、サーボ８が制御されると、連動してセンサー入力処理が開始される（Ｓ３０４）。
【００４５】
センサー入力部１６では、モータ制御部１５のモータ制御処理による処理起動命令を受けると（Ｓ４０１）、車速センサー６から車速、バッテリー７からバッテリー電圧をそれぞれ取り込み（Ｓ４０２、Ｓ４０３）、それらを元にセンサー情報を作成し（Ｓ４０４）、オペレーションマシン２へセンサー情報を送信するために、無線ＬＡＮ通信部１４へセンサー情報を受け渡す（Ｓ４０５）。
【００４６】
次に、本発明に係る車載コンピュータ１１の内部時計調時処理を、図１３のフローチャートを参照して説明する。内部時計調時処理では、制御情報の送信時間、通信遅延時間から内部時計１３とオペレーションマシン２のシステム時刻の時間差を割り出し、調時時間を算出する（Ｓ５０１〜Ｓ５０３）。調時時間は、時間差の２０分の１とし、急激な変化を吸収する。この処理は、オペレーションマシン２がシステム接続されたときに行なわれる。
【００４７】
算出された調時時間が１ｍｓ未満であれば内部時計１３は再設定されないが、１ｍｓ以上であれば、内部時計１３の時間に調時時間を加えて内部時計１３を再設定する（Ｓ５０４、Ｓ５０５）。
【００４８】
オペレーションマシン２は、模型自動車１を遠隔操作するためのプログラムが記憶されたパーソナルコンピュータである。操作者は、オペレーションマシン２を操作して模型自動車１をリモートコントロールすることができる。
【００４９】
オペレーションマシン２で行なわれる処理は、図１４に示すように、模型自動車１から送信されたデータに基づく処理と、操作者によるゲームコントローラ３からの入力に基づく処理に大別される。
【００５０】
模型自動車１から送信されたデータに基づく処理は、無線ＬＡＮ通信処理で受信した画像情報を伸張する画像伸張処理と、画像伸張処理によって伸張された画像を、受信したセンサー情報に基づいてモニタに映し出すためのビデオ信号を生成する画像加工処理である。
【００５１】
一方、操作者によるゲームコントローラ３からの入力に基づく処理は、操作入力処理として図示されているが、ここで処理された制御情報が、無線ＬＡＮ通信処理によって模型自動車１へ送信される。
【００５２】
本発明に係るオペレーションマシン２の無線ＬＡＮ通信処理を、図１５のフローチャートを参照して説明する。オペレーションマシン２の無線ＬＡＮ通信処理では、平時、模型自動車１との接続が保たれているかどうかのチェックがなされる（Ｓ６０１）。
【００５３】
模型自動車１との接続が保たれていない場合には、前回接続時に送信したシステム接続情報を送信してから指定時間経過したかどうかを判断して（Ｓ６０２）、指定時間経過している場合には、再度、システム接続情報を送信する（Ｓ６０３）。
【００５４】
そして、模型自動車１からの接続応答情報が受信されれば（Ｓ６０４）、その応答コードから正常接続されたかどうかを判断して（Ｓ６０５）、正常に接続されていれば、システムの状態を接続中へ切り替える（Ｓ６０６）。
【００５５】
模型自動車１との接続が保たれている場合には（Ｓ６０１）、常に、模型自動車１からの受信情報があるかどうかをチェックしている（Ｓ６０７）。模型自動車１からの受信情報が画像情報であれば（Ｓ６０８）、画像伸張処理プログラムへ画像情報が受け渡される（Ｓ６０９）。
【００５６】
受信情報が画像情報でなく、センサー情報であれば（Ｓ６１０）、現在時刻と通信時刻とから通信遅延時間を算出し（Ｓ６１１）、画像加工処理へセンサー情報を受け渡し（Ｓ６１２）、通信監視タイマーをリセットする（Ｓ６１３）。
【００５７】
模型自動車１からの受信情報がないときには、逆に模型自動車１への送信情報があるかどうかをチェックしており（Ｓ６１４）、送信情報があれば、送信情報を送信して（Ｓ６１５）、通信監視タイマーをリセットする（Ｓ６１６）。受信情報も送信情報もない状態が続き、通信監視時間がタイムアウトしてしまうと（Ｓ６１７）、システム状態が未接続に切り替わる（Ｓ６１８）。
【００５８】
本発明に係るオペレーションマシン２の画像伸張処理を、図１６のフローチャートを参照して説明する。オペレーションマシン２の画像伸張処理では、平時、模型自動車１からの画像情報の受信に備えて待機している（Ｓ７０１）。そして、画像情報を受信すると、画像情報に含まれるタイムスタンプを格納し（Ｓ７０２）、画像データを伸張して、１フレーム分の画像を画像加工処理へ受け渡す（Ｓ７０３）。
【００５９】
続いて、本発明に係るオペレーションマシン２の画像加工処理を、図１７のフローチャートを参照して説明する。オペレーションマシン２の画像加工処理では、システムに接続された状態で画像伸張処理された画像が更新されると（Ｓ８０１、Ｓ８０２）、まず、更新された画像に格納されたタイムスタンプの時刻を現在のシステム時刻から差し引いた時間、即ち、描画遅れ時間を算出する（Ｓ８０３）。描画遅れ時間が算出されると、その描画遅れ時間と車速から画像拡大率を算出し（Ｓ８０４）、描画遅れ時間と操舵位置から画像左右シフト量を算出する（Ｓ８０５）。
【００６０】
そして、算出された画像拡大率、画像左右シフト量から描画エリアを指定し（Ｓ８０６）、ビデオメモリに転送される（Ｓ８０７）。一方、センサー情報内の車速データとバッテリー電圧データを元に、スピードメーター、バッテリー残量の上書き描画も行なわれる（Ｓ８０８）。
【００６１】
本発明に係るオペレーションマシン２の操作入力処理を、図１８のフローチャートを参照して説明する。本実施形態におけるオペレーションマシン２では、システムの制御周期を５０ｍｓとし、ゲームコントローラ３からの入力が５０ｍｓの定周期で入力されているかどうかが監視される（Ｓ９０１）。そして、ゲームコントローラ３から５０ｍｓの定周期で入力があると、そのステアリング値、アクセル・ブレーキペダル値を取り込む（Ｓ９０２）。そして、その取り込まれたステアリング値を操舵位置として、アクセル・ブレーキペダル値を駆動モータ値として変換し、これを模型自動車１へ送信するための制御値とする（Ｓ９０３）。
【００６２】
変換された制御値に変化がなく（Ｓ９０４）、前回制御情報を送信してから５００ｍｓ以上送信履歴がなければ（Ｓ９０５）、現在の制御値から制御情報を作成し、無線ＬＡＮ通信処理へ受け渡す（Ｓ９０６）。変換された制御値に変化があれば、新しい制御値から制御情報を作成し、無線ＬＡＮ通信処理へ受け渡す（Ｓ９０６）。
【００６３】
本発明における通信データをまとめると、図１９に示すとおりである。即ち、オペレーションマシン２をシステムに接続する際に送信されるシステム接続情報は、認証コードとシステム時刻とで構成される。ここで、認証コードとは、オペレーションマシン２がシステム接続を行なうためのコードであり、システム時刻とは、オペレーションマシン２の時刻であり、システム接続時に車載コンピュータ１１の内部時計１３を調時するために利用される。
【００６４】
この発明をある程度詳細にその最も好ましい実施形態について説明してきたが、この発明の精神と範囲に反することなしに広範に異なる実施形態を構成することができることは明白なので、この発明は添付請求の範囲において限定した以外はその特定の実施形態に制約されるものではない。
【００６５】
例えば、上記のとおり、動体として模型自動車について説明してきたが、本発明に係る方法による制御の対象となる動体はそれに限られる訳ではなく、模型飛行機、模型ボート、ロボット、産業用ロボットのアーム、産業用機器その他種々の動体が含まれることは言うまでもない。
【００６６】
そして、模型自動車の場合には、振れ角度は左右方向の操舵角度であるが、例えば産業用ロボットのアームの場合は、その振れ方向は上下方向又は斜め方向である場合があり、それに伴ない、画像処理において受信画像を上下方向又は斜め方向にシフトすることもある。
【図面の簡単な説明】
【００６７】
図１ 本発明の一実施形態におけるオペレーションマシンを使用した、模型自動車用リモートコントロールシステムについてのシステム構成図を表したものである。
図２ 本発明の一実施形態における模型自動車の構成を示すブロック図である。
図３ 車載コンピュータの構成図である。
図４ 車載コンピュータの処理を示すブロック図である。
図５ ゆらぎ補正を説明するための図である。
図６ オペレーションマシンの描画機能を説明するための図である。
図７ 模型自動車の直進時の描画エリアの変化を示す図である。
図８ 模型自動車の右カーブ時の描画エリアの変化を示す図である。
図９ ハードウェアと操作者による一連の処理のフローチャートである。
図１０ 模型自動車側の通信処理のフローチャートである。
図１１ 画像圧縮処理のフローチャートである。
図１２ モータ操作処理とセンサー入力処理のフローチャートである。
図１３ 内部時計調時処理のフローチャートである。
図１４ オペレーションマシンの処理を示すブロック図である。
図１５ オペレーションマシン側の通信処理のフローチャートである。
図１６ 画像伸張処理のフローチャートである。
図１７ 画像加工処理のフローチャートである。
図１８ 操作入力処理のフローチャートである。
図１９ 模型自動車用リモートコントロールシステムの通信データの構成図である。
図２０ 通信のゆらぎを説明するための図である。
図２１ ゆらぎによるフレーム描画タイミングへの影響を説明するための図である。
図２２ エラーによるフレーム描画タイミングへの影響を説明するための図である。
Claims (6)
- 模型自動車、ロボットアーム等の動体に搭載されたカメラからの受信画像のモニタ表示を見ながら前記動体を遠隔制御可能にするための前記モニタへの前記受信画像の表示を行なうオペレーションマシンにおいて、
前記受信画像の前記モニタへの描画は予め定められた描画タイミング間隔で行ない、且つ、前記描画画像は、前記受信画像を遅れ処理した予測画像とし、
前記遅れ処理した予測画像は、前記描画タイミング時のシステム時刻から、
そのとき受信している画像情報に付加されているタイムスタンプを差し引いた遅れ予測時間分の補正を行った擬似的画像であることを特徴とするゆらぎ補正による画像表示方法。 - 前記遅れ処理した予測画像は、前記受信画像を、前記遅れ予測時間と前記動体の移動速度、振れ角度、バッテリー電圧値等のセンサー情報に基いて画像処理するものである、請求項１に記載のゆらぎ補正による画像表示方法。
- 前記画像処理は、前記センサー情報に基いて前記受信画像をズームし及び／又は上下、左右、斜めにシフトするものである、請求項２に記載のゆらぎ補正による画像表示方法。
- 模型自動車、ロボットアーム等の動体からの画像情報に基づいて前記動体を遠隔制御するためのオペレーションマシンを備えた動体リモートコントロールシステムであって、
前記オペレーションマシンは、
前記動体に搭載されたカメラからの画像情報とセンサー情報とを受信する画像描画用情報受信手段と、
前記受信した画像描画用情報内の画像データを伸張する画像伸張手段と、
前記伸張した画像データを、受信した前記センサー情報に基づいて加工する画像加工手段と、
コントローラによって入力された操作入力値を前記動体に対する制御情報へ変換処理する操作入力手段と、
前記操作入力手段によって生成された制御情報を前記動体へ送信する制御情報送信手段とを備え、
前記動体は、
前記搭載カメラの画像に内部時計の時刻をタイムスタンプとして付加し、前記オペレーションマシンへ送信する画像情報として画像圧縮する画像圧縮手段と、
前記速度センサーからの前記動体の移動速度及びバッテリーからのバッテリー電圧値を、前記オペレーションマシンへ送信するセンサー情報として取り込むセンサー取込手段と、
前記画像情報と前記センサー情報とを画像描画用情報として前記オペレーションマシンへ送信する画像描画用情報送信手段と、
前記オペレーションマシンから前記制御情報を受信する制御情報受信手段と、
受信した前記制御情報に基づいてサーボ及びモータを制御する制御処理手段、とを備え、
前記画像加工手段は、前記伸張された画像データを、受信した前記センサー情報に基づいて、出力するタイミング及び表示させる画像の描画エリアを調整することを特徴とする動体リモートコントロールシステム。 - 前記画像加工手段は、前記伸張された画像データに格納されたタイムスタンプの時刻を現在のシステム時刻から差し引いた描画遅れ時間を算出し、前記描画遅れ時間と前記動体の移動速度から画像拡大率を算出すると共に、前記描画遅れ時間と振れ位置から上下、左右、又は斜め方向への画像シフト量を算出し、前記画像拡大率と前記画像シフト量とから前記描画エリアを指定する、請求項４に記載の動体リモートコントロールシステム。
- 前記センサー情報は、前記動体に搭載された速度センサーからの速度値と、バッテリーの電圧値とを含む、請求項４に記載の動体リモートコントロールシステム。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2006/316123 WO2008018156A1 (fr) | 2006-08-10 | 2006-08-10 | Procédé d'affichage d'image corrigée en fluctuation et système de commande à distance d'objet mobile utilisant le procédé |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2008018156A1 JPWO2008018156A1 (ja) | 2009-12-24 |
| JP5140889B2 true JP5140889B2 (ja) | 2013-02-13 |
Family
ID=39032697
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008528709A Expired - Fee Related JP5140889B2 (ja) | 2006-08-10 | 2006-08-10 | ゆらぎ補正による画像表示方法及びその方法を用いた動体リモートコントロールシステム |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP5140889B2 (ja) |
| WO (1) | WO2008018156A1 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| IL196923A (en) * | 2009-02-05 | 2014-01-30 | Elbit Systems Ltd | Driving an imaging device on a suspended communication channel |
| US11048465B2 (en) | 2018-09-18 | 2021-06-29 | Canon Kabushiki Kaisha | Imaging display device, wearable device, and imaging display system |
Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS61159888A (ja) * | 1985-01-07 | 1986-07-19 | Nec Corp | 無人搬送信号伝送方式 |
| JPH0686137A (ja) * | 1992-09-02 | 1994-03-25 | Fuji Photo Optical Co Ltd | テレビカメラの遠隔制御装置 |
| JPH06198586A (ja) * | 1993-01-07 | 1994-07-19 | Toshiba Corp | 移動ロボット |
| JPH07137997A (ja) * | 1993-05-24 | 1995-05-30 | Sumitomo Electric Ind Ltd | 配電作業用ロボットシステム |
| JPH08234275A (ja) * | 1995-03-01 | 1996-09-13 | Kajima Corp | 遠隔操作支援用画像システム |
| JPH08251564A (ja) * | 1995-03-15 | 1996-09-27 | Matsushita Electric Ind Co Ltd | 画像通信端末装置 |
| JPH099366A (ja) * | 1995-06-23 | 1997-01-10 | Kokusai Electric Co Ltd | 移動型無線監視システム |
| JP2000156818A (ja) * | 1998-11-18 | 2000-06-06 | Nippon Telegr & Teleph Corp <Ntt> | パノラマ画像作成方法、装置、パノラマ画像作成プログラムを記録した記録媒体、情報提供方法、装置、情報提供プログラムを記録した記録媒体 |
| JP2002152704A (ja) * | 2000-11-14 | 2002-05-24 | Konica Corp | 画像サービスシステム及び画像記憶システム |
| JP2004053323A (ja) * | 2002-07-17 | 2004-02-19 | Denso Corp | ナビゲーションシステム及びナビゲーション装置 |
| JP2004180190A (ja) * | 2002-11-29 | 2004-06-24 | Hitachi Ltd | カメラ制御装置及びその制御ステップを実行するプログラム |
| JP2004338889A (ja) * | 2003-05-16 | 2004-12-02 | Hitachi Ltd | 映像認識装置 |
| JP2005006081A (ja) * | 2003-06-12 | 2005-01-06 | Denso Corp | 画像サーバ、画像収集装置、および画像表示端末 |
| JP2005271094A (ja) * | 2004-03-23 | 2005-10-06 | Advanced Telecommunication Research Institute International | ロボット遠隔制御システム |
| JP2006037662A (ja) * | 2004-07-30 | 2006-02-09 | Hitachi Constr Mach Co Ltd | 建設機械の監視カメラシステム |
| JP2006074441A (ja) * | 2004-09-02 | 2006-03-16 | Matsushita Electric Ind Co Ltd | 画像受信装置及び画像受信方法、並びに画像伝送システム |
| JP2006104933A (ja) * | 1999-03-17 | 2006-04-20 | Komatsu Ltd | 建設機械の通信装置 |
| JP2006113858A (ja) * | 2004-10-15 | 2006-04-27 | Mitsubishi Heavy Ind Ltd | 移動体の遠隔操作支援方法及びシステム |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3834606B2 (ja) * | 2001-02-27 | 2006-10-18 | 独立行政法人産業技術総合研究所 | 移動マニピュレータの遠隔操作装置 |
| JP2005218507A (ja) * | 2004-02-03 | 2005-08-18 | Tama Tlo Kk | バイタルサイン計測方法と装置 |
| JP4206369B2 (ja) * | 2004-07-15 | 2009-01-07 | 日本放送協会 | 時系列データ補完装置、その方法及びそのプログラム |
| JP4393955B2 (ja) * | 2004-09-09 | 2010-01-06 | シャープ株式会社 | 送信装置、データ送信方法、プログラム、および、そのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
-
2006
- 2006-08-10 JP JP2008528709A patent/JP5140889B2/ja not_active Expired - Fee Related
- 2006-08-10 WO PCT/JP2006/316123 patent/WO2008018156A1/ja active Application Filing
Patent Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS61159888A (ja) * | 1985-01-07 | 1986-07-19 | Nec Corp | 無人搬送信号伝送方式 |
| JPH0686137A (ja) * | 1992-09-02 | 1994-03-25 | Fuji Photo Optical Co Ltd | テレビカメラの遠隔制御装置 |
| JPH06198586A (ja) * | 1993-01-07 | 1994-07-19 | Toshiba Corp | 移動ロボット |
| JPH07137997A (ja) * | 1993-05-24 | 1995-05-30 | Sumitomo Electric Ind Ltd | 配電作業用ロボットシステム |
| JPH08234275A (ja) * | 1995-03-01 | 1996-09-13 | Kajima Corp | 遠隔操作支援用画像システム |
| JPH08251564A (ja) * | 1995-03-15 | 1996-09-27 | Matsushita Electric Ind Co Ltd | 画像通信端末装置 |
| JPH099366A (ja) * | 1995-06-23 | 1997-01-10 | Kokusai Electric Co Ltd | 移動型無線監視システム |
| JP2000156818A (ja) * | 1998-11-18 | 2000-06-06 | Nippon Telegr & Teleph Corp <Ntt> | パノラマ画像作成方法、装置、パノラマ画像作成プログラムを記録した記録媒体、情報提供方法、装置、情報提供プログラムを記録した記録媒体 |
| JP2006104933A (ja) * | 1999-03-17 | 2006-04-20 | Komatsu Ltd | 建設機械の通信装置 |
| JP2002152704A (ja) * | 2000-11-14 | 2002-05-24 | Konica Corp | 画像サービスシステム及び画像記憶システム |
| JP2004053323A (ja) * | 2002-07-17 | 2004-02-19 | Denso Corp | ナビゲーションシステム及びナビゲーション装置 |
| JP2004180190A (ja) * | 2002-11-29 | 2004-06-24 | Hitachi Ltd | カメラ制御装置及びその制御ステップを実行するプログラム |
| JP2004338889A (ja) * | 2003-05-16 | 2004-12-02 | Hitachi Ltd | 映像認識装置 |
| JP2005006081A (ja) * | 2003-06-12 | 2005-01-06 | Denso Corp | 画像サーバ、画像収集装置、および画像表示端末 |
| JP2005271094A (ja) * | 2004-03-23 | 2005-10-06 | Advanced Telecommunication Research Institute International | ロボット遠隔制御システム |
| JP2006037662A (ja) * | 2004-07-30 | 2006-02-09 | Hitachi Constr Mach Co Ltd | 建設機械の監視カメラシステム |
| JP2006074441A (ja) * | 2004-09-02 | 2006-03-16 | Matsushita Electric Ind Co Ltd | 画像受信装置及び画像受信方法、並びに画像伝送システム |
| JP2006113858A (ja) * | 2004-10-15 | 2006-04-27 | Mitsubishi Heavy Ind Ltd | 移動体の遠隔操作支援方法及びシステム |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2008018156A1 (fr) | 2008-02-14 |
| JPWO2008018156A1 (ja) | 2009-12-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7668626B2 (en) | Image displaying method with fluctuation correction and remote control system for moving unit using the method | |
| US8558924B2 (en) | Camera platform system and imaging system | |
| JP4716815B2 (ja) | 車々間通信装置、車々間通信システムおよび動画情報のアプリケーション適用可否判断方法 | |
| CN104660985A (zh) | 图像处理设备、电子设备和图像处理方法 | |
| CN105580358A (zh) | 信息提示系统 | |
| JP2008299676A (ja) | 死角情報要求／提供装置及びこれらを利用した車車間通信システム | |
| US20150138352A1 (en) | Image processing device, system, image processing method | |
| JP2009118072A (ja) | 遠隔操作装置及び遠隔操作方法 | |
| JP2006279648A (ja) | ゆらぎ補正による画像表示方法及びその方法を用いた模型自動車等用リモートコントロールシステム | |
| JP6627678B2 (ja) | 移動体の遠隔操縦システム | |
| JP2008207627A (ja) | 車載撮像システム、撮像装置及び表示制御装置 | |
| JP5140889B2 (ja) | ゆらぎ補正による画像表示方法及びその方法を用いた動体リモートコントロールシステム | |
| KR20160067507A (ko) | 차량 | |
| JP2012065225A (ja) | 車載用画像処理装置、周辺監視装置、および、車両 | |
| JP6824856B2 (ja) | 表示制御装置および表示制御方法 | |
| JP5811623B2 (ja) | 車両用監視装置 | |
| KR20130136940A (ko) | 이미지 캡쳐 디바이스의 개선된 제어 | |
| JP2002293271A (ja) | 車両用事故情報記憶システム | |
| US20220317685A1 (en) | Remote driving system, remote driving device, and traveling video display method | |
| JP2012138875A (ja) | 画像処理装置、画像表示システム、及び、画像処理方法 | |
| JP6304391B2 (ja) | 車両用画像表示システム | |
| JP6327144B2 (ja) | 画像処理システム及び画像処理装置 | |
| WO2023210288A1 (ja) | 情報処理装置、情報処理方法および情報処理システム | |
| JP4225131B2 (ja) | 磁界補正データ生成装置 | |
| JP2009065472A (ja) | 走行画像撮影装置、走行画像撮影方法及び走行画像撮影プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110823 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110921 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120606 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120613 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121026 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121102 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151130 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5140889 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |