JP7091796B2 - 映像制御装置、車両用撮影装置、映像制御方法およびプログラム - Google Patents
映像制御装置、車両用撮影装置、映像制御方法およびプログラム Download PDFInfo
- Publication number
- JP7091796B2 JP7091796B2 JP2018076897A JP2018076897A JP7091796B2 JP 7091796 B2 JP7091796 B2 JP 7091796B2 JP 2018076897 A JP2018076897 A JP 2018076897A JP 2018076897 A JP2018076897 A JP 2018076897A JP 7091796 B2 JP7091796 B2 JP 7091796B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- image
- vehicle
- unit
- occupant
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Closed-Circuit Television Systems (AREA)
- Time Recorders, Dirve Recorders, Access Control (AREA)
- Traffic Control Systems (AREA)
Description
図1は、第一実施形態に係る映像制御装置を有する車両用撮影装置の構成例を示すブロック図である。図2は、第一実施形態に係る映像制御装置で生成した合成映像の一例を説明する概略図である。車両用撮影装置1は、車内の状況に応じて、より詳しくは、乗員の状況に応じて、乗員の顔映像100を車両の外部の車両外部映像110に合成した合成映像120を生成して、出力する。
図4ないし図6を参照しながら、本実施形態に係る車両用撮影装置1Aについて説明する。図4は、第二実施形態に係る映像制御装置を有する車両用撮影装置の構成例を示すブロック図である。図5は、第二実施形態に係る映像制御装置で生成した合成映像の一例を説明する概略図である。図6は、第二実施形態に係る映像制御装置における処理の流れを示すフローチャートである。車両用撮影装置1Aは、基本的な構成は第一実施形態の車両用撮影装置1と同様である。以下の説明においては、車両用撮影装置1と同様の構成要素には、同一の符号または対応する符号を付し、その詳細な説明は省略する。車両用撮影装置1Aは、映像制御装置50Aが声量導出部521Aを備える点と、映像合成部55Aと映像制御部57Aとにおける処理が第一実施形態と異なる。
図7、図8を参照しながら、本実施形態に係る車両用撮影装置1Bについて説明する。図7は、第三実施形態に係る映像制御装置を有する車両用撮影装置の構成例を示すブロック図である。図8は、第三実施形態に係る映像制御装置における処理の流れを示すフローチャートである。車両用撮影装置1Bは、基本的な構成は第一実施形態の車両用撮影装置1と同様である。車両用撮影装置1Bは、映像制御装置50Bが音声判定部522Bを備える点と、映像合成部55Bと映像制御部57Bとにおける処理が第一実施形態と異なる。
図9ないし図11を参照しながら、本実施形態に係る車両用撮影装置1Cについて説明する。図9は、第四実施形態に係る映像制御装置を有する車両用撮影装置の構成例を示すブロック図である。図10は、第四実施形態に係る映像制御装置で生成した合成映像の一例を説明する概略図である。図11は、第四実施形態に係る映像制御装置における処理の流れを示すフローチャートである。車両用撮影装置1Cは、基本的な構成は第一実施形態の車両用撮影装置1と同様である。車両用撮影装置1Cは、映像制御装置50Cが顔方向判定部531Cを備える点と、映像合成部55Cと映像制御部57Cとにおける処理が第一実施形態と異なる。
図12ない図14を参照しながら、本実施形態に係る車両用撮影装置1Dについて説明する。図12は、第五実施形態に係る映像制御装置を有する車両用撮影装置の構成例を示すブロック図である。図13は、第五実施形態に係る映像制御装置が撮影した映像データの一例を説明する概略図である。図14は、第五実施形態に係る映像制御装置における処理の流れを示すフローチャートである。車両用撮影装置1Dは、基本的な構成は第一実施形態の車両用撮影装置1と同様である。車両用撮影装置1Dは、映像制御装置50Dが映像領域抽出部541Dを備える点と、映像合成部55Dと映像制御部57Dとにおける処理が第一実施形態と異なる。
図15を参照しながら、本実施形態に係る車両用撮影装置1Bについて説明する。図15は、第六実施形態に係る映像制御装置における処理の流れを示すフローチャートである。車両用撮影装置1Bは、基本的な構成は第三実施形態の車両用撮影装置1Bと同様である。車両用撮影装置1Bは、音声判定部522Bと映像制御部57Bとにおける処理が第三実施形態と異なる。
図16、図17を参照しながら、本実施形態に係る車両用撮影装置1Eについて説明する。図16は、第七実施形態に係る映像制御装置を有する車両用撮影装置の構成例を示すブロック図である。図17は、第七実施形態に係る映像制御装置における処理の流れを示すフローチャートである。車両用撮影装置1Eは、基本的な構成は第一実施形態と同様である。車両用撮影装置1Eは、表示部30Eの構成と、映像制御装置50Eが車両情報取得部58Eを備える点と、出力制御部56Eの表示制御部561Eの処理が第一実施形態と異なる。
20 カメラ
30 表示部
40 記憶部
50 映像制御装置
51 映像データ取得部
52 乗員情報取得部
53 顔映像抽出部
54 外部映像抽出部
55 映像合成部
56 出力制御部
561 表示制御部
562 記憶制御部
57 映像制御部
Claims (8)
- 車両の周囲と車両内とを含む車両周辺映像の映像データを取得する映像データ取得部と、
前記車両内の乗員の音声、感情、動作、生体の兆候の少なくともいずれかを示す乗員情報を取得する乗員情報取得部と、
前記映像データ取得部が取得した前記映像データから、前記乗員の顔部の顔映像を抽出する顔映像抽出部と、
前記映像データ取得部が取得した前記映像データから、前記車両の周囲の車両外部映像を抽出する外部映像抽出部と、
前記顔映像抽出部が抽出した前記顔映像を、前記外部映像抽出部が抽出した前記車両外部映像に合成して合成映像を生成する映像合成部と、
乗員情報取得部が取得した前記乗員情報の声量、感情量、動作量、生体情報量の少なくともいずれかに応じて前記映像合成部による前記乗員の顔映像の大きさを変えた前記合成映像の生成を制御する映像制御部と、
前記映像合成部が合成した前記合成映像の出力を制御する出力制御部と、
を備えることを特徴とする映像制御装置。 - 前記乗員情報取得部が取得した前記乗員情報の前記乗員の音声から、声量の大きさを導出する声量導出部、
を備え、
前記映像制御部は、前記声量導出部が導出した前記乗員の声量の大きさに応じて、前記映像合成部によって前記乗員の顔映像の大きさを変えた前記合成映像を生成する、
請求項1に記載の映像制御装置。 - 前記乗員情報取得部が取得した前記乗員の音声を認識して、前記車両の走行状態に関するものであるかを判定する音声判定部、
を備え、
前記映像制御部は、前記音声判定部が、前記乗員の音声が前記車両の走行状態または車両の周囲の状況に関するものであると判定した場合、前記映像合成部によって前記合成映像を生成する、
請求項1または2に記載の映像制御装置。 - 前記乗員情報取得部が取得した前記乗員情報の、感情の激しさ、または、動作の大きさ、または、生体の兆候から、乗員情報量を導出する乗員情報量導出部、
を備え、
前記映像制御部は、前記乗員情報量導出部が導出した前記乗員の情報量に応じて、前記映像合成部によって前記乗員の顔映像の大きさを変えた前記合成映像を生成する、
請求項1に記載の映像制御装置。 - 車両の周囲と車両内とを含む車両周辺映像の映像データを取得する映像データ取得部と、
前記車両内の乗員の音声、感情、動作、生体の兆候の少なくともいずれかを示す乗員情報を取得する乗員情報取得部と、
前記映像データ取得部が取得した前記映像データから、前記乗員の顔部の顔映像を抽出する顔映像抽出部と、
前記映像データ取得部が取得した前記映像データから、前記車両の周囲の車両外部映像を抽出する外部映像抽出部と、
前記顔映像抽出部が抽出した前記顔映像を、前記外部映像抽出部が抽出した前記車両外部映像に合成して合成映像を生成する映像合成部と、
前記外部映像抽出部が抽出した前記車両外部映像に基づいて、画像中で輝度の変化が少ない映像領域を抽出する映像領域抽出部と、
乗員情報取得部が取得した前記乗員情報に応じて前記映像合成部による前記乗員の顔映像の大きさを変えた前記合成映像の生成を制御する映像制御部と、
前記映像合成部が合成した前記合成映像の出力を制御する出力制御部と、
を備え、
前記映像制御部は、前記映像合成部によって、前記映像領域抽出部が抽出した前記輝度の変化が少ない映像領域が撮影された映像領域に前記顔映像を合成した前記合成映像を生成する、
ことを特徴とする映像制御装置。 - 請求項1から5のいずれか一項に記載の映像制御装置と、
車両の周囲と車両内とを含む車両周辺映像を撮影する撮影部と、
を備える車両用撮影装置。 - 車両の周囲と車両内とを含む車両周辺映像の映像データを取得する映像データ取得ステップと、
前記車両内の乗員の音声、感情、動作、生体の兆候の少なくともいずれかを示す乗員情報を取得する乗員情報取得ステップと、
前記映像データ取得ステップによって取得した前記映像データから、前記乗員の顔部の顔映像を抽出する顔映像抽出ステップと、
前記映像データ取得ステップによって取得した前記映像データから、前記車両の周囲の車両外部映像を抽出する外部映像抽出ステップと、
前記顔映像抽出ステップによって抽出した前記顔映像を、前記外部映像抽出ステップによって抽出した前記車両外部映像に合成して合成映像を生成する映像合成ステップと、
乗員情報取得ステップによって取得した前記乗員情報の声量、感情量、動作量、生体情報量の少なくともいずれかに応じて前記映像合成ステップにおける前記乗員の顔映像の大きさを変えた前記合成映像の生成を制御する映像制御ステップと、
前記映像合成ステップによって合成した前記合成映像の出力を制御する出力制御ステップと、
を含む映像制御方法。 - 車両の周囲と車両内とを含む車両周辺映像の映像データを取得する映像データ取得ステップと、
前記車両内の乗員の音声、感情、動作、生体の兆候の少なくともいずれかを示す乗員情報を取得する乗員情報取得ステップと、
前記映像データ取得ステップによって取得した前記映像データから、前記乗員の顔部の顔映像を抽出する顔映像抽出ステップと、
前記映像データ取得ステップによって取得した前記映像データから、前記車両の周囲の車両外部映像を抽出する外部映像抽出ステップと、
前記顔映像抽出ステップによって抽出した前記顔映像を、前記外部映像抽出ステップによって抽出した前記車両外部映像に合成して合成映像を生成する映像合成ステップと、
乗員情報取得ステップによって取得した前記乗員情報の声量、感情量、動作量、生体情報量の少なくともいずれかに応じて前記映像合成ステップにおける前記乗員の顔映像の大きさを変えた前記合成映像の生成を制御する映像制御ステップと、
前記映像合成ステップによって合成した前記合成映像の出力を制御する出力制御ステップと、
を映像制御装置として動作するコンピュータに実行させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018076897A JP7091796B2 (ja) | 2018-04-12 | 2018-04-12 | 映像制御装置、車両用撮影装置、映像制御方法およびプログラム |
JP2022093618A JP7472936B2 (ja) | 2018-04-12 | 2022-06-09 | 映像制御装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018076897A JP7091796B2 (ja) | 2018-04-12 | 2018-04-12 | 映像制御装置、車両用撮影装置、映像制御方法およびプログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022093618A Division JP7472936B2 (ja) | 2018-04-12 | 2022-06-09 | 映像制御装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019186790A JP2019186790A (ja) | 2019-10-24 |
JP7091796B2 true JP7091796B2 (ja) | 2022-06-28 |
Family
ID=68341963
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018076897A Active JP7091796B2 (ja) | 2018-04-12 | 2018-04-12 | 映像制御装置、車両用撮影装置、映像制御方法およびプログラム |
JP2022093618A Active JP7472936B2 (ja) | 2018-04-12 | 2022-06-09 | 映像制御装置 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022093618A Active JP7472936B2 (ja) | 2018-04-12 | 2022-06-09 | 映像制御装置 |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP7091796B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114820402A (zh) * | 2021-01-22 | 2022-07-29 | 本田技研工业(中国)投资有限公司 | 图像处理方法、装置、系统、电子设备和计算机可读存储介质 |
CN114040091A (zh) * | 2021-09-28 | 2022-02-11 | 北京瞰瞰智能科技有限公司 | 图像处理方法、摄像系统以及车辆 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2003034738A1 (fr) | 2001-10-10 | 2003-04-24 | Matsushita Electric Industrial Co., Ltd. | Unite de traitement d'images |
JP2004147046A (ja) | 2002-10-24 | 2004-05-20 | Matsushita Electric Ind Co Ltd | ディジタルカメラおよびディジタルカメラ付き携帯電話装置 |
JP2017194950A (ja) | 2016-02-29 | 2017-10-26 | トヨタ モーター エンジニアリング アンド マニュファクチャリング ノース アメリカ,インコーポレイティド | マルチメディアキャプチャ用のシステム及び方法 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4487633B2 (ja) * | 2004-05-24 | 2010-06-23 | 日産自動車株式会社 | 車両内コミュニケーション装置 |
JP5368771B2 (ja) * | 2008-11-10 | 2013-12-18 | パナソニック株式会社 | 乗員監視装置 |
JP2013125191A (ja) * | 2011-12-15 | 2013-06-24 | Canon Inc | 映像表示装置、映像表示方法及びプログラム |
JP5729345B2 (ja) * | 2012-04-10 | 2015-06-03 | 株式会社デンソー | 感情モニタリングシステム |
JP2014167438A (ja) * | 2013-02-28 | 2014-09-11 | Denso Corp | 情報通知装置 |
JP2015128915A (ja) * | 2014-01-06 | 2015-07-16 | 株式会社デンソーアイティーラボラトリ | 後席乗員モニタシステム及び後席乗員モニタ方法 |
US9942522B2 (en) * | 2015-08-19 | 2018-04-10 | Faraday&Future Inc. | In-vehicle camera system |
US10017117B2 (en) * | 2016-05-18 | 2018-07-10 | GM Global Technology Operations LLC | Vehicle occupant viewing systems and methods |
JP6707007B2 (ja) * | 2016-09-27 | 2020-06-10 | 株式会社東海理化電機製作所 | 車両用視認装置及び車両用視認画像表示方法 |
-
2018
- 2018-04-12 JP JP2018076897A patent/JP7091796B2/ja active Active
-
2022
- 2022-06-09 JP JP2022093618A patent/JP7472936B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2003034738A1 (fr) | 2001-10-10 | 2003-04-24 | Matsushita Electric Industrial Co., Ltd. | Unite de traitement d'images |
JP2004147046A (ja) | 2002-10-24 | 2004-05-20 | Matsushita Electric Ind Co Ltd | ディジタルカメラおよびディジタルカメラ付き携帯電話装置 |
JP2017194950A (ja) | 2016-02-29 | 2017-10-26 | トヨタ モーター エンジニアリング アンド マニュファクチャリング ノース アメリカ,インコーポレイティド | マルチメディアキャプチャ用のシステム及び方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2019186790A (ja) | 2019-10-24 |
JP7472936B2 (ja) | 2024-04-23 |
JP2022132278A (ja) | 2022-09-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7472936B2 (ja) | 映像制御装置 | |
KR101579100B1 (ko) | 차량용 어라운드뷰 제공 장치 및 이를 구비한 차량 | |
KR102117598B1 (ko) | 차량 운전 보조 장치 및 차량 | |
US7983475B2 (en) | Vehicular actuation system | |
KR20160142167A (ko) | 차량용 디스플레이 장치 및 이를 구비한 차량 | |
WO2021079975A1 (ja) | 表示システム、表示装置、表示方法、及び、移動装置 | |
CN111301284B (zh) | 车载装置、程序以及车辆 | |
JP2008261749A (ja) | 乗員検出装置、作動装置制御システム、シートベルトシステム、車両 | |
US20200086788A1 (en) | Method and system for alerting drivers with direction specific audio system | |
CN111699680A (zh) | 行车记录仪、显示控制方法以及程序 | |
JP2017007481A (ja) | 車載ヘッドアップディスプレイ装置及び車載表示システム | |
JP2018030499A (ja) | 車外情報提供装置および車外情報提供方法 | |
JP6115278B2 (ja) | 車両用表示装置 | |
US20180022357A1 (en) | Driving recorder system | |
JP6915995B2 (ja) | ドライブレコーダ | |
US20190228241A1 (en) | Method of operating an in-vehicle camera | |
JP2008083184A (ja) | 運転評価システム | |
KR20180094717A (ko) | Avm을 이용한 운전 지원 장치 및 시스템 | |
JP2021060676A (ja) | システムおよびプログラム等 | |
JP7393739B2 (ja) | ドライバ状態推定装置 | |
WO2021131789A1 (ja) | 車両 | |
CN110281857B (zh) | 显示控制装置以及显示控制方法 | |
KR101633501B1 (ko) | 사이드 간격 정보를 제공하는 avm 시스템 및 방법 | |
JP7460407B2 (ja) | 音響出力装置、音響出力システム及び音響出力方法 | |
KR20200082463A (ko) | 영상 기록 장치 및 그 동작 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201030 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211022 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211102 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211222 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220517 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220530 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7091796 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |