JP5841821B2 - 画像処理装置、車両、画像処理方法、及び、プログラム - Google Patents
画像処理装置、車両、画像処理方法、及び、プログラム Download PDFInfo
- Publication number
- JP5841821B2 JP5841821B2 JP2011267853A JP2011267853A JP5841821B2 JP 5841821 B2 JP5841821 B2 JP 5841821B2 JP 2011267853 A JP2011267853 A JP 2011267853A JP 2011267853 A JP2011267853 A JP 2011267853A JP 5841821 B2 JP5841821 B2 JP 5841821B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- vehicle
- subject
- traveling body
- composite image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
Description
また、請求項9の発明は、走行体と前記走行体上に旋回可能に設けられる旋回体とを備えた車両で用いられる画像処理装置であって、前記車両に設けられる複数のカメラで取得された複数の画像を用いて、仮想視点からみた前記車両の周辺の被写体を示す合成画像を生成する生成手段と、前記合成画像を表示装置に出力して表示させる出力手段と、前記走行体を基準とする第1方向、及び、前記旋回体を基準とする第2方向の一方から他方に、前記合成画像に含まれる前記被写体の像の方向を変更する変更手段と、を備え、前記変更手段は、前記被写体の像の方向を変更する場合に、前記被写体の像の方向を段階的に変更し、前記被写体の像の方向が連続的に変わるアニメーション表示を前記表示装置に行わせる。
また、請求項10の発明は、請求項9に記載の画像処理装置において、前記生成手段は、前記合成画像中に前記車両の外観を示す車両像を含め、前記生成手段は、前記合成画像中に含まれる前記被写体としての前記走行体の像に重ねて、前記旋回体の外観を示す旋回体像を含める。
また、請求項11の発明は、走行体と前記走行体上に旋回可能に設けられる旋回体とを備えた車両で用いられる画像処理装置であって、前記車両に設けられる複数のカメラで取得された複数の画像を用いて、仮想視点からみた前記車両の周辺の被写体を示す合成画像を生成する生成手段と、前記合成画像を表示装置に出力して表示させる出力手段と、前記走行体を基準とする第1方向、及び、前記旋回体を基準とする第2方向の一方から他方に、前記合成画像に含まれる前記被写体の像の方向を変更する変更手段と、を備え、前記生成手段は、前記合成画像中に前記車両の外観を示す車両像を含め、前記生成手段は、前記合成画像中に含まれる前記被写体としての前記走行体の像に重ねて、前記旋回体の外観を示す旋回体像を含めることを特徴とする画像処理装置。
<1−1.作業車両の構成>
図1は、本実施の形態に係る作業車両1を示す図である。作業車両1は、例えば、油圧ショベルであり、走行体11と、旋回体12と、作業装置13とを備えている。
図2は、画像処理装置2の構成を主に示す図である。図に示すように、画像処理装置2は、表示装置3、及び、複数のカメラ5と接続されている。表示装置3は、例えば、液晶パネルなどを備えた薄型のディスプレイであり、各種の情報や画像を表示する。表示装置3は、ユーザが運転室15に着座した状態でその画面を視認できるように、運転室15の車室内の前方に配置される。
次に、画像合成部23が合成画像を生成する手法について説明する。図4は、画像合成部23が合成画像を生成する手法を説明する図である。
次に、制御部21の方向変更部21bの処理について説明する。前述のように、画像合成部23は、仮想視点VPをロールすることで、含まれる被写体の像の方向が異なる合成画像CPを生成することができる。方向変更部21bは、この画像合成部23に制御信号を送信して、合成画像に含まれる被写体の像の方向(以下、「被写体方向」という。)を変更する。方向変更部21bは、作業車両1の動作に応じて被写体方向を変更することになる。
次に、画像処理装置2の処理の流れについて説明する。図11は、画像処理装置2の処理の流れを示す図である。この図11に示す処理は、所定の周期(例えば、1/30秒周期)で繰り返される。
次に、第2の実施の形態について説明する。第2の実施の形態の作業車両1及び画像処理装置2の構成や処理は第1の実施の形態とほぼ同様であるため、以下、第1の実施の形態との相違点を中心に説明する。第2の実施の形態では、方向変更部21bは、被写体方向を変更する場合において、被写体方向を瞬時に切り替えずに段階的に変更する。これにより、表示装置3において被写体方向が連続的に変わるアニメーション表示がなされるようになっている。
次に、第3の実施の形態について説明する。第3の実施の形態の作業車両1及び画像処理装置2の構成や処理は第1の実施の形態とほぼ同様であるため、以下、第1の実施の形態との相違点を中心に説明する。第1の実施の形態では、画像合成部23は、走行体像91、旋回体像92及び作業装置像93を組み合わせて車両像90を生成していた。これに対して、第3の実施の形態では、画像合成部23は、合成画像CPに含める車両像に、記憶部24に予め記憶されたイメージデータである走行体像91を用いず、合成画像CPに含まれる被写体としての走行体11の像を利用するようになっている。
次に、第4の実施の形態について説明する。第4の実施の形態の作業車両1及び画像処理装置2の構成や処理は第1の実施の形態とほぼ同様であるため、以下、第1の実施の形態との相違点を中心に説明する。
次に、第5の実施の形態について説明する。第5の実施の形態の作業車両1及び画像処理装置2の構成や処理は第1の実施の形態とほぼ同様であるため、以下、第1の実施の形態との相違点を中心に説明する。第1の実施の形態では、画像処理装置2は、作業車両1の直上の仮想視点VPからみた合成画像CPを生成していた。これに対して、第5の実施の形態では、画像処理装置2は、仮想視点VPを任意の位置に設定し、任意の仮想視点VPからみた合成画像CPを生成できるようになっている。
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。上記実施の形態及び以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。
2 画像処理装置
11 走行体
12 旋回体
13 作業装置
15 運転室
21 制御部
21b 方向変更部
21d 領域特定部
23 画像合成部
90 車両像
VP 仮想視点
Claims (15)
- 走行体と前記走行体上に旋回可能に設けられる旋回体とを備えた車両で用いられる画像処理装置であって、
前記車両に設けられる複数のカメラで取得された複数の画像を用いて、仮想視点からみた前記車両の周辺の被写体を示す合成画像を生成する生成手段と、
前記合成画像を表示装置に出力して表示させる出力手段と、
前記走行体を基準とする第1方向、及び、前記旋回体を基準とする第2方向の一方から他方に、前記合成画像に含まれる前記被写体の像の方向を変更する変更手段と、
前記車両の動作を示す信号を受信する受信手段と、
を備え、
前記変更手段は、
前記車両の動作に応じて、前記被写体の像の方向を変更し、
前記走行体の走行中は、前記被写体の像の方向を前記第1方向に変更し、
前記旋回体に設けられた作業装置の動作中は、前記被写体の像の方向を前記第2方向に変更することを特徴とする画像処理装置。 - 請求項1に記載の画像処理装置において、
前記複数のカメラは、前記旋回体に設けられることを特徴とする画像処理装置。 - 請求項1または2に記載の画像処理装置において、
前記変更手段は、前記被写体の像の方向を変更する場合に、前記被写体の像の方向を段階的に変更し、前記被写体の像の方向が連続的に変わるアニメーション表示を前記表示装置に行わせることを特徴とする画像処理装置。 - 請求項1ないし3のいずれかに記載の画像処理装置において、
前記生成手段は、前記合成画像中に前記車両の外観を示す車両像を含めることを特徴とする画像処理装置。 - 請求項4に記載の画像処理装置において、
前記走行体に対する前記旋回体の旋回角度を取得する手段、
をさらに備え、
前記生成手段は、前記旋回角度に基づいて、前記走行体と前記旋回体との相対的な位置関係を示す前記車両像を前記合成画像に含めることを特徴とする画像処理装置。 - 請求項4または5に記載の画像処理装置において、
前記旋回体に設けられた作業装置の関節部の回動角度を取得する手段、
をさらに備え、
前記生成手段は、前記回動角度に基づいて、前記作業装置の伸縮状態を示す前記車両像を前記合成画像に含めることを特徴とする画像処理装置。 - 請求項4に記載の画像処理装置において、
前記生成手段は、前記合成画像中に含まれる前記被写体としての前記走行体の像に重ねて、前記旋回体の外観を示す旋回体像を含めることを特徴とする画像処理装置。 - 請求項1に記載の画像処理装置において、
前記旋回体には、伸縮可能な作業装置が設けられており、
前記車両の動作を示す信号を受信する受信手段と、
前記合成画像が示す前記車両の周辺の範囲において、前記走行体が走行した場合に前記走行体が移動する第1領域、前記旋回体が旋回した場合に前記作業装置が移動する第2領域、及び、前記作業装置が伸縮した場合に前記作業装置が移動する第3領域をそれぞれ特定する特定手段と、
をさらに備え、
前記生成手段は、前記車両の動作に応じて、前記第1ないし第3領域のうち現時点で動作中の前記車両の部位に関連する領域の指標を、他の領域の指標よりも強調して前記合成画像に含めることを特徴とする画像処理装置。 - 走行体と前記走行体上に旋回可能に設けられる旋回体とを備えた車両で用いられる画像処理装置であって、
前記車両に設けられる複数のカメラで取得された複数の画像を用いて、仮想視点からみた前記車両の周辺の被写体を示す合成画像を生成する生成手段と、
前記合成画像を表示装置に出力して表示させる出力手段と、
前記走行体を基準とする第1方向、及び、前記旋回体を基準とする第2方向の一方から他方に、前記合成画像に含まれる前記被写体の像の方向を変更する変更手段と、
を備え、
前記変更手段は、前記被写体の像の方向を変更する場合に、前記被写体の像の方向を段階的に変更し、前記被写体の像の方向が連続的に変わるアニメーション表示を前記表示装置に行わせることを特徴とする画像処理装置。 - 請求項9に記載の画像処理装置において、
前記生成手段は、前記合成画像中に前記車両の外観を示す車両像を含め、
前記生成手段は、前記合成画像中に含まれる前記被写体としての前記走行体の像に重ねて、前記旋回体の外観を示す旋回体像を含めることを特徴とする画像処理装置。 - 走行体と前記走行体上に旋回可能に設けられる旋回体とを備えた車両で用いられる画像処理装置であって、
前記車両に設けられる複数のカメラで取得された複数の画像を用いて、仮想視点からみた前記車両の周辺の被写体を示す合成画像を生成する生成手段と、
前記合成画像を表示装置に出力して表示させる出力手段と、
前記走行体を基準とする第1方向、及び、前記旋回体を基準とする第2方向の一方から他方に、前記合成画像に含まれる前記被写体の像の方向を変更する変更手段と、
を備え、
前記生成手段は、前記合成画像中に前記車両の外観を示す車両像を含め、
前記生成手段は、前記合成画像中に含まれる前記被写体としての前記走行体の像に重ねて、前記旋回体の外観を示す旋回体像を含めることを特徴とする画像処理装置。 - 走行体と、前記走行体上に旋回可能に設けられる旋回体と、前記旋回体に設けられる伸縮可能な作業装置とを備えた車両で用いられる画像処理装置であって、
前記車両に設けられる複数のカメラで取得された複数の画像を用いて、仮想視点からみた前記車両の周辺の被写体を示す合成画像を生成する生成手段と、
前記車両の動作を示す信号を受信する受信手段と、
前記合成画像が示す前記車両の周辺の範囲において、前記走行体が走行した場合に前記走行体が移動する第1領域、前記旋回体が旋回した場合に前記作業装置が移動する第2領域、及び、前記作業装置が伸縮した場合に前記作業装置が移動する第3領域をそれぞれ特定する特定手段と、
をさらに備え、
前記生成手段は、前記車両の動作に応じて、前記第1ないし第3領域のうち現時点で動作中の前記車両の部位に関連する領域の指標を、他の領域の指標よりも強調して前記合成画像に含めることを特徴とする画像処理装置。 - 走行体と前記走行体上に旋回可能に設けられる旋回体とを備えた車両であって、
前記車両に設けられる複数のカメラで取得された複数の画像を用いて、仮想視点からみた前記車両の周辺の被写体を示す合成画像を生成する生成手段と、
前記合成画像を表示装置に出力して表示させる出力手段と、
前記走行体を基準とする第1方向、及び、前記旋回体を基準とする第2方向の一方から他方に、前記合成画像に含まれる前記被写体の像の方向を変更する変更手段と、
前記車両の動作を示す信号を受信する受信手段と、
を備え、
前記変更手段は、
前記車両の動作に応じて、前記被写体の像の方向を変更し、
前記走行体の走行中は、前記被写体の像の方向を前記第1方向に変更し、
前記旋回体に設けられた作業装置の動作中は、前記被写体の像の方向を前記第2方向に変更することを特徴とする車両。 - 走行体と前記走行体上に旋回可能に設けられる旋回体とを備えた車両で用いられる画像処理方法であって、
(a)前記車両に設けられる複数のカメラで取得された複数の画像を用いて、仮想視点からみた前記車両の周辺の被写体を示す合成画像を生成する工程と、
(b)前記合成画像を表示装置に出力して表示させる工程と、
(c)前記走行体を基準とする第1方向、及び、前記旋回体を基準とする第2方向の一方から他方に、前記合成画像に含まれる前記被写体の像の方向を変更する工程と、
(d)前記車両の動作を示す信号を受信する工程と、
を備え、
前記工程(c)は、
前記車両の動作に応じて、前記被写体の像の方向を変更し、
前記走行体の走行中は、前記被写体の像の方向を前記第1方向に変更し、
前記旋回体に設けられた作業装置の動作中は、前記被写体の像の方向を前記第2方向に変更することを特徴とする画像処理方法。 - 走行体と前記走行体上に旋回可能に設けられる旋回体とを備えた車両で用いられる画像処理装置に含まれるコンピュータによって実行可能なプログラムであって、前記プログラムの前記コンピュータによる実行は、前記コンピュータに、
(a)前記車両に設けられる複数のカメラで取得された複数の画像を用いて、仮想視点からみた前記車両の周辺の被写体を示す合成画像を生成する工程と、
(b)前記合成画像を表示装置に出力して表示させる工程と、
(c)前記走行体を基準とする第1方向、及び、前記旋回体を基準とする第2方向の一方から他方に、前記合成画像に含まれる前記被写体の像の方向を変更する工程と、
(d)前記車両の動作を示す信号を受信する工程と、
を実行させ、
前記工程(c)は、
前記車両の動作に応じて、前記被写体の像の方向を変更し、
前記走行体の走行中は、前記被写体の像の方向を前記第1方向に変更し、
前記旋回体に設けられた作業装置の動作中は、前記被写体の像の方向を前記第2方向に変更することを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011267853A JP5841821B2 (ja) | 2011-12-07 | 2011-12-07 | 画像処理装置、車両、画像処理方法、及び、プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011267853A JP5841821B2 (ja) | 2011-12-07 | 2011-12-07 | 画像処理装置、車両、画像処理方法、及び、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013121056A JP2013121056A (ja) | 2013-06-17 |
JP5841821B2 true JP5841821B2 (ja) | 2016-01-13 |
Family
ID=48773506
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011267853A Expired - Fee Related JP5841821B2 (ja) | 2011-12-07 | 2011-12-07 | 画像処理装置、車両、画像処理方法、及び、プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5841821B2 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103522955B (zh) * | 2013-10-30 | 2016-07-06 | 中车北京二七机车有限公司 | 工程机械车 |
JP6321977B2 (ja) * | 2014-01-23 | 2018-05-09 | クラリオン株式会社 | 重機用周辺監視装置 |
JP6667943B2 (ja) * | 2014-10-17 | 2020-03-18 | 日本無線株式会社 | 画像生成装置 |
CN107923154B (zh) * | 2015-08-10 | 2024-02-20 | 住友建机株式会社 | 挖土机 |
JP6756555B2 (ja) * | 2016-09-09 | 2020-09-16 | 株式会社タダノ | 俯瞰画像システム、俯瞰画像表示方法およびプログラム |
JP2020061646A (ja) * | 2018-10-10 | 2020-04-16 | 市光工業株式会社 | 車両用表示装置 |
JP7160702B2 (ja) * | 2019-01-23 | 2022-10-25 | 株式会社小松製作所 | 作業機械のシステム及び方法 |
JP7428588B2 (ja) * | 2020-05-22 | 2024-02-06 | 鉄建建設株式会社 | 建設車両用映像表示システム |
JP7544651B2 (ja) | 2021-03-31 | 2024-09-03 | 日立建機株式会社 | 建設機械 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4202209B2 (ja) * | 2003-08-11 | 2008-12-24 | 日立建機株式会社 | 作業機械の位置計測表示システム |
JP4787202B2 (ja) * | 2007-04-26 | 2011-10-05 | 東亜建設工業株式会社 | 浚渫支援システム |
JP5462008B2 (ja) * | 2010-01-25 | 2014-04-02 | 株式会社タダノ | 画像表示システム |
-
2011
- 2011-12-07 JP JP2011267853A patent/JP5841821B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2013121056A (ja) | 2013-06-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5841821B2 (ja) | 画像処理装置、車両、画像処理方法、及び、プログラム | |
JP5775283B2 (ja) | 作業機械のモニタ装置 | |
JP5814187B2 (ja) | 自走式産業機械の表示装置 | |
JP6204884B2 (ja) | 旋回式作業機の周囲表示装置 | |
CN109661813B (zh) | 俯瞰图像系统、俯瞰图像显示方法以及存储有程序的计算机可读取的记录介质 | |
JP5546427B2 (ja) | 作業機械の周囲監視装置 | |
JP5066198B2 (ja) | 作業機械のモニタ装置 | |
EP2717570A1 (en) | Device for monitoring area around working machine | |
WO2010137684A1 (ja) | 画像生成装置及び画像表示システム | |
JP6321977B2 (ja) | 重機用周辺監視装置 | |
JP2008312004A (ja) | カメラシステム及び機械装置 | |
KR20140060321A (ko) | 작업기의 주위 감시 장치 | |
JP6243806B2 (ja) | 作業車両の周囲監視装置および周囲監視装置用プログラム | |
JP2013253402A (ja) | 作業機械の周囲監視装置 | |
JP4855884B2 (ja) | 車両周辺監視装置 | |
JP2012039341A (ja) | 画像表示システム、画像生成装置、及び、画像表示方法 | |
WO2017110382A1 (ja) | 作業車両および作業車両の制御方法 | |
JP2012001126A (ja) | 車両用周辺監視装置 | |
CN115626115A (zh) | 作业车辆显示系统和方法 | |
JP5752631B2 (ja) | 画像生成方法、画像生成装置、及び操作支援システム | |
KR101861523B1 (ko) | 차량 운전 보조 장치 및 방법 | |
JP2013002101A (ja) | 作業機械の視野補助装置 | |
JPH11217853A (ja) | 建設機械の後方監視装置およびその後方監視方法 | |
JP6713884B2 (ja) | 俯瞰画像システム、俯瞰画像表示方法およびプログラム | |
JP2009087228A (ja) | 画像表示装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140826 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150430 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150512 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150601 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20151027 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151116 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5841821 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |