JP5974433B2 - 周辺画像表示装置 - Google Patents
周辺画像表示装置 Download PDFInfo
- Publication number
- JP5974433B2 JP5974433B2 JP2011169819A JP2011169819A JP5974433B2 JP 5974433 B2 JP5974433 B2 JP 5974433B2 JP 2011169819 A JP2011169819 A JP 2011169819A JP 2011169819 A JP2011169819 A JP 2011169819A JP 5974433 B2 JP5974433 B2 JP 5974433B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- frame
- display device
- cut
- displayed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Component Parts Of Construction Machinery (AREA)
- Closed-Circuit Television Systems (AREA)
Description
すなわち、本発明は、建設用機械の周囲を撮像し、前記建設用機械を基準とした環状画像と、パノラマ画像と、前記パノラマ画像の一部分を切り出した切出し画像と、を同時に表示手段に表示し、切出し画像の切出し位置を定める枠状画像を前記環状画像上及び前記パノラマ画像上に重ねて表示させ、建設用機械の上部旋回体の方向を指示する上部旋回体指示画像と、前記下部走行体の前進方向を示す前進方向指示画像と、を前記環状画像または前記パノラマ画像または前記切出し画像のいずれかに表示させること、をその要旨とする。
レンズ12は、反射ミラー11により反射された周囲光Lを集光し、集光した周囲光Lを撮像素子13側へ出射する。
撮像素子13は、CCD若しくはCMOSからなるものであり、レンズ12により集光された周囲光Lを受光し、制御手段2に全方位の撮像画像を撮像データDとして出力する。
ケース体14は、上面に周囲光Lを通す円形の開口部を有し、反射ミラー11とレンズ12と撮像素子13とを収納するものである。
また、制御手段2は、操作手段4からの操作信号を入力し、周辺画像表示装置100の操作の処理を行うものである。
また、前述のように撮像手段1の方向指示マークを、上部旋回体の方向に一致するように配設しているため、建設用機械の角度センサ5から上部旋回体に対する下部走行体の角度情報を入力することで、制御手段2は、表示画像データと上部旋回体の方向と下部走行体の前進方向とを関連づけるものである。
このように、周辺画像表示装置100の設置時に、周辺画像表示装置100の方向指示マークを、上部旋回体に位置合わせすることで、表示画像データと上部旋回体の方向を関連づける以外に、周辺画像表示装置100の設置後に、表示される画像を見ながら、上部旋回体の方向と表示画像データとを関連づけてもよい。
撮像データDは、全方位を撮像した外円画像と、反射ミラー11に投影された撮像素子13自身を撮像した内円画像と、により構成される。
環状画像31は、図3(a)に示すように、全方位を撮像した外円画像を表示する外円領域S1aと、内円画像を取り除いた、或いは他画像等により内円画像を覆い隠した内円領域S1bと、により分類され、全方位の画像が外円領域S1aに環状に表示されるものである。
外円領域S1aは、全方位を撮像した外円画像に、後述する切出し画像33の切出し領域を示す第1枠状画像A1と、建設用機械の上部旋回体の方向を示す第1上部旋回体指示画像311と、建設用機械の上部旋回体の左右,背面方向を示す第1上部旋回体補助画像312と、建設用機械の下部走行体の前進方向を示す第1前進方向指示画像313と、を重畳させて表示した領域である。
また、第1枠状画像A1は、切出し画像33の切出し位置が撮像画像の中心点に対し、どの方向であるかがわかればいいので、切出し画像33に厳密に対応する領域として扇状の枠を表示するのではなく、図4(a),(b)に示すように、四角形の枠(A1a)や、中心から伸びた扇状の枠(A1b)として表示してもよい。
斯かる構成により、建設用機械の上部旋回体の方向を環状画像にて認識することができ、建設用機械と環状画像に表示される物体との方位関係に関する情報を的確に得ることができる。
また、図4(d)に示すように、外円画像S1aや内円画像S1b以外の環状画像31の周縁部に、第1上部旋回体指示周縁画像311bを表示させてもよい。
また、上部旋回体体の指示方向のみではなく、この上部旋回体の指示方向を基準とした、上部旋回体の左右方向や背面方向を表す第1上部旋回体補助画像312を表示する。斯かる構成により、環状画像31にて、建設用機械の上部旋回体と周辺画像との位置関係をより認識しやすい。
これら、第1上部旋回体指示画像311と、第1上部旋回体指示機械画像311aと、第1上部旋回体周縁画像311bと、第1上部旋回体補助画像312とは、表示手段3に表示されるものではなく、表示手段3の表面ガラスなどに予め印刷されたものでもよい。
斯かる構成により、建設用機械の下部走行体の前進方向を環状画像にて認識することができ、建設用機械と環状画像に表示される物体との方位関係に関する情報を的確に得ることができる。
斯かる構成により、建設用機械の上部旋回体の方向をパノラマ画像にて認識することができ、建設用機械とパノラマ画像に表示される物体との方位関係に関する情報を的確に得ることができる。また、第2枠状画像A2と、第2上部旋回体指示画像321とにより、切出し画像33と、第2上部旋回体指示画像321との位置関係を的確に得ることが出来る。
また、第2上部旋回体指示画像321は、方向がわかればいいので矢印ではない、目印となる画像などでもよい。
第2上部旋回体指示画像321は、表示手段3の表面ガラスなどに予め印刷されたものであってもよい。
斯かる構成により、建設用機械の下部走行体の前進方向をパノラマ画像にて認識することができ、建設用機械とパノラマ画像に表示される物体との方位関係に関する情報を的確に得ることができる。
また、図6(b)に示すように、下部走行体の幅を考慮した、第2前進方向指示走行体画像323bとしてもよい。斯かる構成により、建設用機械とパノラマ画像に表示される物体との方位関係に加え、表示される物体との距離に関する情報を的確に得ることができ、下部走行体の幅に関連づけることで、物体の大きさや、物体同士の間隔の広さを認識することができる。
また、切出し画像33は、上部旋回体の指示方向を示す第3上部旋回体指示画像331又は、この上部旋回体の指示方向を基準とした、上部旋回体の左右方向や背面方向を表す第3上部旋回体補助画像332又は、下部走行体の進行方向を示す第3前進方向指示画像333を、図7(a)に示すように、切出し画像33の切出し位置(第1枠状画像A1と第2枠状画像A2の位置)に応じて表示する。
斯かる構成により、建設用機械の下部走行体の方向と上部旋回体の方向とを切出し画像にて認識することができ、建設用機械と切出し画像に表示される物体との方位関係に関する情報を的確に得ることができる。
また、切出し画像33は、現在切出し画像33に表示している方向に対し、下部走行体の前進方向はどの位置にあるかを角度表示する前進方向情報画像Cを表示する。
斯かる構成により、切出し画像33を視認するだけで、切出し画像33と、上部旋回体の指示方向又は下部走行体の前進方向と、の位置関係を容易に認識することができる。
上記の上部旋回体方位情報画像Bや前進方向情報画像Cは、切出し画像33の画像内でもよいが、切出し画像33の周縁外側に表示してもよい。
図8(b)は、環状画像31上を操作者Xがフリック操作した際の第1枠状画像A1の移動を時系列で表した図である。操作者Xが環状画像31上をなぞるフリック操作をすることによって、操作者Xの動きに対応して、第1枠状画像A1が滑らかに移動し、それにより、第1枠状画像A1に同期する切出し画像33も滑らかにその表示領域を切替えることができる。
図9(b)は、パノラマ画像32上を操作者Xが2点以上操作点をピンチアウト操作した際の第2枠状画像A2の大きさ変更を時系列で表した図である。操作者Xが、第2枠状画像A2付近で、2点の接点を広げるようにピンチアウト操作した場合、第2枠状画像A2が拡がり、これにより切出し画像33の切出し領域が大きくなるため、切出し画像33は縮小表示される。また、操作者Xが第2枠状画像A2付近で、2点の接点を狭めるようにピンチイン操作した場合、第2枠状画像A2は狭まり、これにより切出し画像33の切出し領域が小さくなるため、切出し画像33は拡大表示される。
また、図12(b)のように、操作された方向のカーソル表示Eの色彩を一時的に変えることで、その方向の操作が行われたことを操作者Xに報知してもよい。
具体的に例えば、撮像手段1は、CCDもしくはCMOSからなる撮像素子を有する第1,第2撮像カメラ1a,1bであり、ぞれぞれ視野角が重ならず、視野角同士に間ができない位置に設置される。第1,第2撮像カメラ1a,1bは視野角120°とすると、2つのカメラで240°の視野角を撮影することができ、それぞれ撮像した画像を環状画像31とパノラマ画像32および切出し画像33に表示する。
環状画像31は、第1撮像カメラ1aにより撮像された第1撮像カメラ画像U1aと、第2撮像カメラ1bにより撮像された第2撮像カメラ画像U1bと、複数の撮像カメラで撮像されない死角となる第1デッドスペースU1cにより構成されている。この第1デッドスペースU1cは、黒塗りや車両情報を文字などで表示するエリアである。
また、パノラマ画像32にも、環状画像31の第1デッドスペースU1cに対応する位置に第2デッドスペースU2cを設ける。
斯かる構成により、撮像手段1が全方位カメラではなく、複数のカメラであった場合も、撮像される画像同士の位置関係と、さらに撮像される物体と建設用機械との位置関係とに関する情報を的確に得ることができる。
1 撮像手段
2 制御手段
3 表示手段
4 操作手段
5 角度センサ
1a 第1撮像カメラ
1b 第2撮像カメラ
11 反射ミラー
12 レンズ
13 撮像素子
14 ケース体
31 環状画像
311 第1上部旋回体指示画像
312 第1上部旋回体補助画像
313 第1前進方向指示画像
32 パノラマ画像
321 第2上部旋回体指示画像
322 第2上部旋回体補助画像
323 第2前進方向指示画像
33 切出し画像
331 第3上部旋回体指示画像
332 第3上部旋回体補助画像
333 第3前進方向指示画像
A1 第1枠状画像
A2 第2枠状画像
B 上部旋回体方位情報画像
C 前進方向情報画像
E カーソル表示
L 周囲光
S1a 外円領域
S1b 内円領域
U1a 第1カメラ画像
U1b 第2カメラ画像
U1c 第1デッドスペース
U2c 第2デッドスペース
Claims (11)
- 下部走行体及び上部旋回体を有する建設用機械に搭載され、
前記建設用機械の周囲を撮像する撮像手段と、
前記撮像手段により撮像された撮像データを前記建設用機械を基準とした環状画像及びパノラマ画像並びに前記パノラマ画像の一部分を切り出した切出し画像に変換する制御手段と、
前記環状画像と前記パノラマ画像と前記切出し画像とを同時に表示する表示手段と、
前記制御手段に操作信号を出力する操作手段と、を備え、
前記制御手段は、前記切出し画像の切出し位置を定める枠状画像を前記環状画像上及び前記パノラマ画像上に重ねて表示させるとともに、
前記操作手段の操作に基づいて、前記枠状画像を前記環状画像及び前記パノラマ画像の範囲内にて移動可能とし、前記枠状画像の移動に連動し、前記切出し画像を切替え、前記上部旋回体の方向を示す上部旋回体指示画像を前記表示手段に表示させること、を特徴とする周辺画像表示装置。 - 前記制御手段は、前記上部旋回体の旋回角度情報を入力し、
前記環状画像に前記下部走行体の前進方向を示す第1前進方向指示画像を表示させる、
または前記パノラマ画像に前記下部走行体の前進方向を示す第2前進方向指示画像を表示させる、
または前記枠状画像が前記下部走行体の前進方向にあったとき、前記切出し画像に前記下部走行体の前進方向を示す第3前進方向指示画像を表示させること、を特徴とする請求項1に記載の周辺画像表示装置。 - 前記制御手段は、前記上部旋回体指示画像を前記環状画像に表示させること、を特徴とする請求項1または請求項2に記載の周辺画像表示装置。
- 前記制御手段は、前記上部旋回体指示画像を前記パノラマ画像に表示させること、を特徴とする請求項1乃至3のいずれかに記載の周辺画像表示装置。
- 前記制御手段は、前記枠状画像が前記上部旋回体の方向にあったとき、前記切出し画像に前記上部旋回体指示画像を表示させること、を特徴とする請求項1乃至4のいずれかに記載の周辺画像表示装置。
- 前記第2前進方向指示画像は、前記下部走行体の幅に基づく、奥行きのある画像からなること、を特徴とする請求項2乃至5のいずれかに記載の周辺画像表示装置。
- 前記上部旋回体指示画像は、前記環状画像の中心部に前記建設用機械を示す車両画像で表示されること、を特徴とする請求項1乃至6のいずれかに記載の周辺画像表示装置。
- 前記撮像手段は、全方位カメラであり、前記制御手段は、前記全方位カメラからの撮像データに基づいて、前記環状画像を生成すること、を特徴とする請求項1乃至7のいずれかに記載の周辺画像表示装置。
- 前記撮像手段は、複数のカメラであり、前記制御手段は、前記複数のカメラからの撮像データに基づいて、前記環状画像を生成すること、を特徴とする請求項1乃至7のいずれかに記載の周辺画像表示装置。
- 前記制御手段は、前記枠状画像の内部もしくは前記枠状画像の周辺に上下左右のカーソル表示を表示し、前記操作手段にて前記枠状画像が移動されるとき、前記操作手段にて操作された方向の前記カーソル表示の色彩を変化させること、を特徴とする請求項1乃至9のいずれかに記載の周辺画像表示装置。
- 前記操作手段は、タッチパネル式入力手段からなること、を特徴とする請求項1乃至10のいずれかに記載の周辺画像表示装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011169819A JP5974433B2 (ja) | 2011-08-03 | 2011-08-03 | 周辺画像表示装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011169819A JP5974433B2 (ja) | 2011-08-03 | 2011-08-03 | 周辺画像表示装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013034142A JP2013034142A (ja) | 2013-02-14 |
JP5974433B2 true JP5974433B2 (ja) | 2016-08-23 |
Family
ID=47789633
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011169819A Active JP5974433B2 (ja) | 2011-08-03 | 2011-08-03 | 周辺画像表示装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5974433B2 (ja) |
Families Citing this family (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102013010402A1 (de) * | 2013-06-21 | 2014-12-24 | Steinbichler Optotechnik Gmbh | Reifenprüfgerät, Reifenprüfanlage und Verfahren zur Reifenprüfung |
JP6071866B2 (ja) * | 2013-12-18 | 2017-02-01 | キヤノン株式会社 | 表示制御装置、表示装置、撮像システム、表示制御方法、及びプログラム |
JP6512787B2 (ja) * | 2014-10-07 | 2019-05-15 | キヤノン株式会社 | 画像処理装置、画像処理方法、撮像装置 |
WO2016157463A1 (ja) * | 2015-03-31 | 2016-10-06 | 株式会社小松製作所 | 作業機械の周辺監視装置 |
JP6543108B2 (ja) * | 2015-06-29 | 2019-07-10 | キヤノン株式会社 | 情報処理装置およびその制御方法、並びにプログラム |
JP6630504B2 (ja) * | 2015-07-13 | 2020-01-15 | 株式会社日立システムズ | 作業行動支援ナビゲーションシステム及び方法、並びに作業行動支援ナビゲーション用コンピュータプログラム、作業行動支援ナビゲーション用プログラムを記憶した記憶媒体、作業行動支援ナビゲーションシステムを搭載した自走式ロボット、作業行動支援ナビゲーションシステムに用いられるインテリジェントヘルメット |
JP2017069834A (ja) * | 2015-09-30 | 2017-04-06 | アイシン精機株式会社 | 表示制御装置 |
CN105227919A (zh) * | 2015-09-30 | 2016-01-06 | 贵州广思信息网络有限公司 | 一种通过全景记录仪改进施工过程监督的方法 |
JP6662622B2 (ja) * | 2015-11-30 | 2020-03-11 | 住友重機械工業株式会社 | 作業機械用周辺監視システム及び作業機械用周辺監視システムを備えた建設機械 |
JP6515020B2 (ja) * | 2015-11-30 | 2019-05-15 | 住友重機械工業株式会社 | 作業機械用周辺監視システム |
CN108026714A (zh) | 2015-11-30 | 2018-05-11 | 住友重机械工业株式会社 | 施工机械用周边监视系统 |
JP6419677B2 (ja) * | 2015-11-30 | 2018-11-07 | 住友重機械工業株式会社 | 作業機械用周辺監視システム |
JP6515021B2 (ja) * | 2015-11-30 | 2019-05-15 | 住友重機械工業株式会社 | 作業機械用周辺監視システム |
JP7395521B2 (ja) * | 2016-03-24 | 2023-12-11 | 住友重機械工業株式会社 | ショベル、ショベルのシステム |
JP6602721B2 (ja) * | 2016-04-15 | 2019-11-06 | 株式会社東海理化電機製作所 | 車両用視認装置 |
JP6786378B2 (ja) * | 2016-12-26 | 2020-11-18 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP6980391B2 (ja) * | 2017-01-25 | 2021-12-15 | 住友重機械工業株式会社 | 作業機械用周辺監視システム |
JP6826481B2 (ja) * | 2017-03-31 | 2021-02-03 | キヤノン株式会社 | 映像表示装置、映像表示装置の制御方法及びプログラム |
JP6330089B1 (ja) * | 2017-06-30 | 2018-05-23 | 株式会社コロプラ | 仮想空間を提供するためにコンピュータで実行されるプログラム、情報処理装置および仮想空間を提供するための方法 |
JP6625157B2 (ja) * | 2018-04-06 | 2019-12-25 | 株式会社デンソーテン | 画像生成装置、画像表示システム及び画像生成方法 |
JP7115097B2 (ja) * | 2018-07-24 | 2022-08-09 | 株式会社リコー | 通信端末、プログラム、表示方法、記録媒体 |
JP7166725B2 (ja) * | 2018-11-20 | 2022-11-08 | アルパイン株式会社 | 表示装置、表示方法および表示プログラム |
JP7322510B2 (ja) * | 2019-05-27 | 2023-08-08 | 沖電気工業株式会社 | 情報処理装置、情報処理方法およびプログラム |
JP7332445B2 (ja) * | 2019-11-25 | 2023-08-23 | パイオニア株式会社 | 表示制御装置、表示制御方法及び表示制御用プログラム |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4305904B2 (ja) * | 2003-09-22 | 2009-07-29 | Kddi株式会社 | 部分画像符号化装置 |
JP2005167397A (ja) * | 2003-11-28 | 2005-06-23 | Canon Inc | サーバ装置及びその制御方法及び記憶媒体 |
JP2005167638A (ja) * | 2003-12-02 | 2005-06-23 | Sharp Corp | 移動体周囲監視装置、移動体および画像変換方法 |
JP2006211105A (ja) * | 2005-01-26 | 2006-08-10 | Konica Minolta Holdings Inc | 画像生成装置およびシステム |
JP2007282123A (ja) * | 2006-04-11 | 2007-10-25 | Ricoh Co Ltd | 画像配信システム、端末装置、画像配信装置、プログラム及び記録媒体 |
JP4740890B2 (ja) * | 2007-03-27 | 2011-08-03 | 株式会社小松製作所 | 建設機械および建設機械の後進移動ガイダンス方法 |
JP4951639B2 (ja) * | 2009-03-02 | 2012-06-13 | 日立建機株式会社 | 周囲監視装置を備えた作業機械 |
JP5202425B2 (ja) * | 2009-04-27 | 2013-06-05 | 三菱電機株式会社 | 映像監視システム |
-
2011
- 2011-08-03 JP JP2011169819A patent/JP5974433B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2013034142A (ja) | 2013-02-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5974433B2 (ja) | 周辺画像表示装置 | |
JP5201999B2 (ja) | 入力装置、及びその方法 | |
JP4969269B2 (ja) | 画像処理装置 | |
TWI517992B (zh) | 車用影像系統及其影像之顯示控制方法 | |
US20180170258A1 (en) | Work vehicle and image displaying method for work vehicle | |
JP2008148059A (ja) | 車両周辺監視装置 | |
JP5775283B2 (ja) | 作業機械のモニタ装置 | |
TWI535587B (zh) | 利用觸控面板來控制車用影像之顯示的方法及其車用影像系統 | |
JP5589644B2 (ja) | 周辺画像表示装置及びその表示方法 | |
WO2018008542A1 (ja) | ショベル | |
JP2014064192A (ja) | 作業車両用周辺監視システム及び作業車両 | |
JP2012074929A (ja) | 作業機械の周囲監視装置 | |
CN102812704A (zh) | 车辆周边监视装置 | |
JP7283059B2 (ja) | 周辺監視装置 | |
WO2006013783A1 (ja) | 入力装置 | |
JP5066198B2 (ja) | 作業機械のモニタ装置 | |
JP2006074105A (ja) | 車両周辺画像表示装置 | |
JP2009239674A (ja) | 車両周辺表示装置 | |
WO2013038681A1 (ja) | カメラ較正装置、カメラ、及びカメラ較正方法 | |
JP2008048345A (ja) | 画像処理装置並びに視界支援装置及び方法 | |
JP2011071919A (ja) | 周囲画像提示装置及び操作支援システム | |
WO2017038123A1 (ja) | 車両の周囲監視装置 | |
JP2014161087A (ja) | 作業車両用周辺監視システム及び作業車両 | |
WO2018159016A1 (ja) | 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム | |
JP5638494B2 (ja) | 画像生成方法、画像生成装置、及び操作支援システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140613 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150326 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150331 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150521 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151203 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160621 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160704 |
|
R150 | Certificate of patent (=grant) or registration of utility model |
Ref document number: 5974433 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |