JP7484722B2 - 画像処理装置、画像処理方法および画像処理システム - Google Patents

画像処理装置、画像処理方法および画像処理システム Download PDF

Info

Publication number
JP7484722B2
JP7484722B2 JP2020559263A JP2020559263A JP7484722B2 JP 7484722 B2 JP7484722 B2 JP 7484722B2 JP 2020559263 A JP2020559263 A JP 2020559263A JP 2020559263 A JP2020559263 A JP 2020559263A JP 7484722 B2 JP7484722 B2 JP 7484722B2
Authority
JP
Japan
Prior art keywords
image
display
vehicle
unit
processing device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020559263A
Other languages
English (en)
Other versions
JPWO2020122084A1 (ja
Inventor
浩二 長田
泰宏 湯川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2020122084A1 publication Critical patent/JPWO2020122084A1/ja
Application granted granted Critical
Publication of JP7484722B2 publication Critical patent/JP7484722B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/383Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/167Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/361Reproducing mixed stereoscopic images; Reproducing mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/363Image reproducers using image projection screens
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Description

本技術は、画像処理装置、画像処理方法および画像処理システムに関し、詳しくは、車載用電子ミラーに適用して好適な画像処理装置等に関する。
従来、車両のバックミラー(ルームミラーや左右のドラミラー)をカメラとディスプレイに置き換えた車載用電子ミラーが提案されている。例えば、特許文献1には、電子ミラーの見え方が実際のミラーの見え方と異なることを解決するために、ディスプレイに対する運転者の頭部の相対位置を利用して、カメラ画像のうちディスプレイに表示する範囲を可変する技術が提案されている。
特開2013-216286号公報
運転者が視覚によって認識する重要な情報の一つに運動視差から得る距離感がある。人間は、視点を動かした際に、物体の遠近の位置に応じて、物の見え隠れが変化する事象から、その物体までの距離や、物体同士の相対的な距離を知覚している。特許文献1で提案されている技術では、上記の知覚を補助することができない。また、運転に適した視界は運転状況によって異なり、また個人の好みもある。
本技術の目的は、運動視差による距離感の提供と様々な視界の提供を良好に実現することにある。
本技術の概念は、
車両の後方を撮影して得られた撮影画像に車室内画像を重畳して表示画像を生成する処理部を備え、
上記処理部は、基準視界の設定情報に基づいて上記表示画像を生成し、
上記基準視界を設定する設定部をさらに備える
画像処理装置にある。
本技術において、処理部により、車両の後方を撮影して得られた撮影画像に車室内画像が重畳されて表示画像が生成される。この場合、基準視界の設定情報に基づいて表示画像が生成される。設定部により、基準視界が設定される。例えば、基準視界設定として、表示位置設定を含む、ようにされてもよい。また、例えば、基準視界設定として、表示サイズ設定を含む、ようにされてもよい。また、例えば、基準視界設定として、横方向の全体または一部の圧縮設定を含む、ようにされてもよい。また、例えば、基準視界設定として、縦方向の全体または一部の圧縮設定を含む、ようにされてもよい。
このように本技術においては、車両の後方を撮影して得られた撮影画像に車室内画像を重畳して表示画像を得るものである。この場合、車両の後方を撮影して得られた撮影画像だけで表示画像を構成するものではなく、その撮影画像に車両を示す画像を重畳して表示画像を得るものであることから、運動視差による距離感の提供を良好に実現できる。また、基準視界を設定する設定部を備えるものである。そのため、運転状況に応じた、あるいは運転者(個人)の好みに応じた視界の提供を良好に実現できる。
なお、本技術において、例えば、処理部は、車両の後方を撮影して得られた撮影画像として、車両の後部に取り付けられた撮影装置で撮影された撮影画像とともに車両の側部に取り付けられた撮影装置で撮影された撮影画像を用いる、ようにされてもよい。これにより、撮影画像の撮影範囲が広くなることから、視界設定としての表示位置設定や表示サイズ設定などにおける設定自由度を高めることができる。
また、本技術において、例えば、複数の基準視界設定から任意の基準視界設定を選択する選択部をさらに備え、処理部は、選択された基準視界設定に基づいて表示画像を生成する、ようにされてもよい。これにより、例えば、運転状況の変化等に合わせた視界の切り替えを容易かつ即座に行い得るようになる。
また、本技術において、例えば、車室内画像は、コンピュータグラフィックス画像である、ようにされてもよい。コンピュータグラフィックス画像を用いることで、車室内画像の生成自由度を高くできる。
また、本技術において、例えば、処理部は、運転者の視点の運動に従って撮影画像と車室内画像との重畳位置関係を変化させる、ようにされてもよい。これにより、実際のバックミラーを見ているのに近い運動視差を生じさせ、運転者の距離間の知覚を補助できる。
この場合、例えば、処理部は、撮影画像と車両を示す画像を三次元空間に配置し、運転者の視点の運動に従って変化する仮想視点位置を求め、その仮想視点位置で決まる視界によって撮影画像と車両を示す画像を射影座標系に変換して表示画像を得る、ようにされてもよい。これにより、運転者の視点の運動に従って撮影画像と車両を示す画像との重畳位置関係を精度よく変化させることができる。
そして、この場合、例えば、処理部は、撮影画像を、車両の後方に存在する所定のオブジェクトの位置に配置する、ようにされてもよい。例えば、所定のオブジェクトは、車両に対して最も近くにあるオブジェクト、あるいは運転者が見ているオブジェクトである、ようにされてもよい。このように撮影画像を車両の後方に存在する所定のオブジェクトの位置に配置することで、所定のオブジェクトを三次元空間の正しい位置に正しい大きさで配置でき、その所定のオブジェクトと車室内画像との間で起こる運動視差を正しく表現することができる。
例えば、処理部は、運転者毎に登録されている基準視点位置および基準仮想視点位置に基づいて、運転者の視点の運動に従って変化する仮想視点位置を求める、ようにされてもよい。これにより、運転者毎に、最適な表示画像を得ることが可能となる。
また、本技術において、例えば、処理部は、車室内画像を撮影画像が透過して見えるように、その撮影画像に重畳する、ようにされてもよい。これにより、車室内画像の重畳により運動視差を提供しても、後方視認性を損なわないようにできる。
実施の形態としての車両の構成物配置の一例を示す図である。 車両の車体(ボディ)、車体開口部(窓)および内装オブジェクトを示す図である。 画像処理装置の構成例を示すブロック図である。 仮想空間上の構成物配置(カメラ1台)を示す図である。 仮想空間上の構成物配置(カメラ複数台)を示す図である。 視点運動と仮想視点運動を説明するための図である。 基準視界での電子ミラーの見え方の一例を示す図である。 初期化フローの一例を示すフローチャートである。 基準視点位置の登録フローの一例を示すフローチャートである。 視点検出領域と視線検出領域の一例を示す図である。 撮影されたカメラ画像を説明するための図である。 カメラ画像の配置例を示す図である。 カメラ画像の配置の違いによるカメラ画像の見え方の変化を示す図である。 カメラ画像配置演算部の処理フローの一例を示すフローチャートである。 カメラ画像配置演算部の処理フローの他の一例を示すフローチャートである。 カメラ画像配置演算部の処理フローの他の一例を示すフローチャートである。 仮想空間上のカメラ画像配置(使用カメラ画像は1つ)を示す図である。 仮想空間上のカメラ画像配置(使用カメラ画像は複数)を示す図である。 仮想空間上における描画に必要な要素の配置例(使用カメラ画像は1つ)を示す図である。 仮想空間上における描画に必要な要素の配置例(使用カメラ画像は複数)を示す図である。 画像描画部で得られる表示画像の一例を示す図である。 基準視界設定における表示位置の操作方法の一例を説明するための図である。 基準視界設定における表示サイズの操作方法の一例を説明するための図である。 基準視界設定における横方向全体の圧縮(曲率)の操作方法の一例を説明するための図である。 基準視界設定における横方向端部のみの圧縮(曲率)の操作方法の一例を説明するための図である。 基準視界設定における縦方向全体の圧縮(曲率)の操作方法の一例を説明するための図である。 基準視界設定における縦方向端部のみの圧縮(曲率)の操作方法の一例を説明するための図である。 画像処理装置における通常動作フローの一例を示すフローチャートである。 表示画像処理の一例を示すフローチャートである。 使用カメラ画像が1つである場合を説明するための図である。 使用カメラ画像が複数である場合を説明するための図である。 視点運動による描画オブジェクト移動の重なり具合の変化を示す図である。 描画処理のバリエーションを示す図である。 表示モード(基準視界設定)をトグル的に切り替える例を説明するための図である。 コンピュータのハードウェアの構成例を示すブロック図である。
以下、発明を実施するための形態(以下、「実施の形態」とする)について説明する。なお、説明を以下の順序で行う。
1.実施の形態
2.変形例
<1.実施の形態>
[車両の構成物配置]
図1は、実施の形態としての車両10の構成物配置の一例を示している。車両10は、車体(ボディ)100と、車体開口部(窓)101と、シートなどの内装オブジェクト102を有している。図2(a)は車体(ボディ)100を示し、図2(b)のハッチング部分は車体開口部(窓)101を示し、図2(c)はシート等の内装オブジェクト102を示している。
また、車両10は、中央後方撮影部103と、中央後方距離計測部104と、視点計測部105と、視線計測部106を有している。中央後方撮影部103は、例えばCMOS(Complementary Metal Oxide Semiconductor)カメラで構成されており、車両10のリア側外郭に後方を撮影するように取り付けられている。中央後方距離計測部104は、例えばToF(Time of Flight)方式距離画像センサで構成されており、車両10のリア側外郭に後方の距離画像を取得するように取り付けられている。
また、車両10は、右側後方撮影部103Rと、右側後方距離計測部104Rと、左側後方撮影部103Lと、左側後方距離計測部104Lを有している。右側後方撮影部103Rおよび左側後方撮影部103Lは、それぞれ、例えばCMOSカメラで構成されており、車両10のサイド側外郭に後方を撮影するように取り付けられている。例えば、右側後方撮影部103Rおよび左側後方撮影部103Lを、それぞれ、サイドミラー位置に取り付けることも考えられる。
また、右側後方距離計測部104Rおよび左側後方距離計測部104Lは、それぞれ、例えばToF方式距離画像センサで構成されており、車両10のサイド側外郭に後方の距離画像を取得するように取り付けられている。例えば、右側後方距離計測部104Rおよび左側後方距離計測部104Lを、それぞれ、サイドミラー位置に取り付けることも考えられる。
視点計測部105は、運転者(ユーザ)の視点位置を検出するものである。視点計測部105は、車両10のフロント側内部に取り付けられている。視点計測部105は、例えば、CMOSカメラを備えており、そのカメラの撮影画像に基づいて運転者の眼の位置を視点位置として計測する。なお、視点計測部105は、例えば、赤外線カメラにより撮影した画像に基づいて運転者の視点位置を計測してもよい。視線計測部106は、運転者の視線を検出するものである。視線計測部106は、車両10のフロント側内部に取り付けられている。視線計測部106は、例えば、CMOSカメラを備えており、運転者の瞳の画像に基づいて、運転者の視線、つまり運転者がどこを見ているかを検出する。
また、車両10は、映像表示部(ディスプレイ)107と、ユーザ操作部108と、画像処理装置109を有している。映像表示部107は、従来のルームミラーの代わりに、車両10のフロント側内部に取り付けられており、略長方形状の表示面を有している。映像表示部107は、LCD(liquid crystal display)や有機EL(Electronic Luminescent)パネルなどで構成される。
ユーザ操作部108は、運転者による種々の操作を受け付けるユーザインタフェースを構成している。このユーザ操作部108は、例えば、インフロントパネルに配置される機械的な操作ボタン、さらには映像表示部107の画面上に配置されるタッチパネル等で構成されている。なお、図1の例では、ユーザ操作部108がインフロントパネルに配置されるように示しているが、ユーザ操作部108の配置位置はその位置に限定されない。映像表示部107は、基本的には車両10の後方画像を表示するものであるが、タッチパネル機能を有する場合には、必要に応じて、ユーザ操作のためのUI(User Interface)表示もされる。
画像処理装置109は、映像表示部107に表示する表示画像を得るための処理をする。画像処理装置109は、車両10の内部の任意の場所、例えば図示のようにインフロントパネル部分に配置される。画像処理装置109は、中央後方撮影部103、右側後方撮影部103R、左側後方撮影部103Lなどで得られたカメラ画像に、車両10を示す画像としての車室内画像(シート、ヘッドレスト、窓、ピラー等)を3D CGで重畳合成して表示画像を得る。このように、カメラ画像だけで表示画像を構成するものではなく、そのカメラ画像に車室内画像を重畳して表示画像を得るものであることから、運動視差による距離感の提供を簡単に実現できる。
この場合、画像処理装置109は、視点計測部105で得られる運転者の視点の運動に従って撮影画像と車室内画像との重畳位置関係を変化させる。これにより、運転者に実際のルームミラーを見ているのに近い運動視差を生じさせ、運転者の距離間の知覚を補助できる。
画像処理装置109は、基準視界の設定情報に基づいて表示画像を設定する。基準視界設定として、表示位置設定、表示サイズ設定、横方向の全体または一部の圧縮設定、縦方向の全体または一部の圧縮設定などが含まれる。運転者(ユーザ)は、ユーザ操作部108を操作することで、基準視界を任意に設定することが可能とされる。これにより、運転状況に応じた、あるいは運転者(個人)の好みに応じた視界の提供が可能となる。
[画像処理装置の構成]
図3は、画像処理装置109の構成例を示している。画像処理装置109は、記憶部111と、視錐台形状位置演算部112と、物体履歴記憶部113と、カメラ画像配置演算部115と、仮想空間配置演算部116と、射影演算部117と、画像描画部118を有している。
画像処理装置109は、画像処理の対象となる構成物、つまり車両10の3D CGデータ(ボディ、窓、内装など)に加え、後方を撮影したカメラ画像を仮想空間上に配置し、仮想視点位置および仮想映像表示部107Aに基づいて求められる視錐台を置く。
図4は、使用するカメラ画像が1つ、つまり中央後方撮影部103によるカメラ画像だけを使用する場合における仮想空間上の構成物配置の一例を示している。また、図5は、使用するカメラ画像が複数、例えば、中央後方撮影部103および右側後方撮影部103Rによる2つのカメラ画像、あるいは中央後方撮影部103および左側後方撮影部103Lによる2つのカメラ画像、あるいは中央後方撮影部103、右側後方撮影部103Rおよび左側後方撮影部103Lによる3つのカメラ画像を使用する場合における仮想空間上の構成物配置の一例を示している。
ここで、使用するカメラ画像の個数は、視錐台が含むカメラ画像の領域によって決まる。例えば、視錐台が中央後方撮影部103のカメラ画像の領域のみを含む場合には、使用するカメラ画像は1つとなる。また、例えば、視錐台が複数の後方撮影部のカメラ画像の領域を含む場合には、使用するカメラ画像は複数となる。複数のカメラ画像を使用する場合には、それらのカメラ画像が合成されて用いられる。複数のカメラ画像の重ね合わせ部分の歪を軽減するため、カメラ画像合成面は、例えば、仮想映像表示部107Aを中心とした円筒状とされる。
画像処理装置109は、視錐台によって生成される画像を、必要に応じて拡大縮小の処理を施し、映像表示部107に表示される表示画像として出力する。なお、仮想映像表示部107Aの大きさが映像表示部107と同じ大きさである場合には、拡大縮小の処理は不要となる。
この場合、画像処理装置109は、図6に示すように、視点計測部105で計測された運転者の視点位置の運動を基準視点位置に対する相対運動として計測し、これに対応して仮想視点位置を基準仮想視点位置から動かすことで、仮想映像表示部107A、従って映像表示部107に表示される画像(映像)を変化させ、運転者に適切な運動視差を提供する。
図3に戻って、記憶部111は、運転者毎の登録された基準視点位置や基準視界設定の情報、さらには車両の3D CGデータを記憶する。ここで、基準視界は、基準となる後方視界であり、仮想視点位置および仮想映像表示部107Aによって形成される視錐台による視界を意味する。そのため、基準視界設定の情報は、具体的には、仮想視点位置の情報、仮想映像表示部107Aの位置や大きさの情報などからなる。
運転者は、予め、ユーザ操作部108からの操作によって、基準視点位置や基準視界設定を登録できる。画像処理装置109は、初期化フローで記憶部111から基準視点位置や基準視界設定の情報を読み出し、通常動作フローではその読み出された情報を用いる。なお、運転者は、基準視界の設定に関しては、通常動作フローの中で、変更調整を行うことも可能とされる。
基準視界として好ましい後方視界は、運転状況や個人によって異なるが、上下左右がバランスよく映り、消失点が画面中央のやや上にある視界が一般的な基準視界として考えられる。図7は、基準視界として好ましい後方視界の一例を示している。この例では、直線水平道路を走行している状態で、消失点が画面中央のやや上にある。なお、図7において、縦方向および横方向に延びる破線の交点は画面中心を表している。
この実施の形態において、基準視界の設定として、表示位置設定、表示サイズ設定、横方向の全体または一部の圧縮(曲率)設定、縦方向の全体または一部の圧縮(曲率)設定などが含まれる。基準視界設定の詳細については後述する。
画像処理装置109は、例えば、電源オン等の起動時に、初期化フローを実施し、運転者(ユーザ)を特定し、記憶部111から運転者に対応した基準視点位置や基準視界設定の情報を読み出し、その後の通常動作フローにおいて用いる。運転者の特定は、例えば、ユーザ操作部108からの運転者による操作で行われる。なお、詳細説明は省略するが、従来周知の顔認証、指紋認証、音声認証などの認証手法などによって、運転者を自動的に特定することも考えらえる。
図8のフローチャートは、初期化フローの一例を示している。画像処理装置109は、ステップST1において、処理を開始する。次に、画像処理装置109は、ステップST2において、ユーザ、つまり運転者を特定する。次に、画像処理装置109は、ステップST3において、記憶部111から、特定された運転者の基準視界設定の情報を読み出す。次に、画像処理装置109は、ステップST3において、記憶部111から、特定された運転者の基準視点位置の情報を読み出す。そして、画像処理装置109は、ステップST5において初期化フローの一連の処理を終了する。
図9のフローチャートは、基準視点位置の登録フローの一例を示している。画像処理装置109は、ステップST11において、処理を開始する。次に、画像処理装置109は、ステップST12において、視点計測部105の検出結果に基づいて運転者の現在の視点位置を取得すると共に、視線計測部106の検出結果に基づいて運転者の現在の視線位置を取得する。
次に、画像処理装置109は、ステップST13において、視点は視点検出領域(図10参照)内にあるか否かを判断する。視点が視点検出領域内にないとき、画像処理装置109は、ステップST12の処理に戻る。一方、視点が視点検出領域内にあるとき、画像処理装置109は、ステップST14において、視線は視線検出領域(図10参照)内の映像表示部107上にあるか否かを判断する。視線が映像表示部107上にないとき、画像処理装置109は、ステップST12の処理に戻る。一方、視線が映像表示部107上にあるとき、画像処理装置109は、ステップST15の処理に移る。
ステップST15において、画像処理装置109は、視線は一定時間以上、ここでは1秒以上継続して映像表示部107上にあるか否かを判断する。視線が1秒以上継続して映像表示部107上にないとき、画像処理装置109は、ステップST12の処理に戻る。一方、視線が1秒以上継続して映像表示部107上にあるとき、画像処理装置109は、ステップST16において、現在の視点位置を基準視点位置として、運転者に対応付けて、記憶部111に登録する。その後、画像処理装置109は、ステップST17において、一連の処理を終了する。
図3に戻って、視錐台形状位置演算部112は、記憶部111から読み出される基準視点位置および基準視界設定の情報と、視点計測部105で検出される現在の視点位置に基づいて、仮想空間上での視錐台の形状と位置を算出する。この場合、基準視点位置からの視点位置(現在の視点位置)のずれ(距離、方向のずれ)に応じて基準仮想視点位置からずらされた仮想視点位置(現在の仮想視点位置)が求められ(図6参照)、この仮想視点位置と仮想映像表示部107Aの大きさおよび位置に基づいて仮想視点を頂点とする視錐台の位置と形状が求められる(図4、図5参照)。
カメラ画像配置演算部115は、右側後方距離計測部104R、中央後方距離計測部104および左側後方距離計測部104Lで取得される後方の距離画像、右側後方撮影部103R、中央後方撮影部103および左側後方撮影部103Lで取得される後方のカメラ画像、視錐台形状配置演算部112で求められる視錐台の形状と位置などに基づいて、仮想空間上でのカメラ画像の配置距離を算出する。
このカメラ画像の配置位置によって、運転者が視点位置を動かした際に、車室内画像(ボディ、窓、内装)に見え隠れするカメラ画像に映る被写体の見え方(運動視差)が異なってくる。適切な運動視差を提供するためには、仮想空間上においてカメラ画像を適切な位置に配置する必要がある。
実際にカメラで撮影された画像は、図11に示すように、3次元空間を距離方向に圧縮したものであり、別々の距離にある物体(オブジェクト)A~Dが2次元の画像として距離に応じた大きさで撮影されている。そのため、このカメラ画像を3次元空間上のどこに置いても完全に適切にはならず、カメラ画像を置いた距離に存在する物体についてのみ適切な位置になる。なお、実際には、カメラレンズの被写界深度から外れた画像はボヤけるが、ここでは理想的なパンフォーカスカメラとして考察している。
図12は、物体Aの距離にカメラ画像を置いた場合(画像配置A)と、物体Dの距離にカメラ画像を置いた場合(画像配置D)を示している。そして、図13(a),(b),(c)は、それぞれ、視界(仮想視点位置で決まる視錐台に対応)を右、中央、左と動かした場合の視野を示している。
図13(a),(b),(c)を見比べると、画像配置Aの場合と画像配置Dの場合で、視界に入るカメラ画像の範囲が異なり、視界の運動に伴ってカメラ画像内を動く範囲が異なる事がわかる。これが、カメラ画像内の物体に対する運動視差であり、着目したい物体(オブジェクト)の距離にカメラ画像を置くことで、その物体と車両との間で起こる運動視差を正しく表現する事ができる。
注意すべき点として、着目する物体以外の物体については、表示される大きさや、視点運動に伴って生じる運動視差が正しく表現されない事があげられる。全ての物体について正しい運動視差を提供するためには、後方を3Dで撮影し、全ての物体を分離して仮想空間上に配置する必要がある。しかし、そのような処理は非常に大きな計算力を必要とする。
本技術は、着目する物体以外の運動視差を諦めることで、比較的小さな計算量で、着目した物体に対する運動視差を提供することを特徴としている。
限定的な運動視差によって、有用な距離感を提示するためには、運転者に距離感を提示するのに相応しい、着目する物体を選択する必要がある。距離感を提示するのに相応しい物体を選択するにあたり、考慮すべき事象を以下に挙げる。
(1)車両と物体との距離(車両に最も近い物体。)
(2)車両と物体との距離の変化(近づいているか、遠ざかっているか。)
(3)物体の大きさ(一定以下の大きさの物体には着目する必要がない。 Ex. 昆虫)
(4)その物体が何か(車なのか、自転車なのか、人なのか、壁なのか、植物なのか。)
(5)運転者が見ているもの(運転者はどこを見ているか。)
これらの全てを考慮して総合的に判断するのが理想的であるが、一部の事象のみでも有用なシステムを提供することは可能である。図14のフローチャートは、カメラ画像配置演算部115の処理フローの一例を示している。この処理例は、上述の(1)、(2)、(3)の事象を考慮したものであり、後方距離計測部(右側後方距離計測部104R、中央後方距離計測部104および左側後方距離計測部104L)で取得される距離画像のみを用いて実現し得るものである。
カメラ画像配置演算部115は、後方距離計測部で距離画像を取得する毎に、図14のフローチャートに示す処理フローを実行する。なお、後方距離計測部は、例えば、120fpsの頻度で距離画像を取得する。
カメラ画像配置演算部115は、ステップST21において、後方距離計測部で距離画像を取得するタイミングで処理を開始する。次に、カメラ画像配置演算部115は、ステップST22において、距離画像から物体(オブジェクト)を抽出し、一定以上の大きさの物体について、位置、形状、大きさ、距離のリストを作成する。そして、カメラ画像配置演算部115は、ステップST23において、作成されたリストを物体履歴記憶部113に保存する。
次に、カメラ画像配置演算部115は、ステップST24において、物体履歴記憶部113の履歴データを閲覧し、形状の特徴から、同一の物体を探索し、履歴のない物体をリストから削除し、履歴のある物体は車両との相対速度を算出してリストに追加する。
次に、カメラ画像配置演算部115は、ステップST25において、作成されたリストからカメラの有効撮影距離を外れる物体を排除する。これは、カメラのフォーカスが合わない距離にある物体を外すことを意図している。距離が測定できても、カメラ画像が撮影できないのであれば、カメラ画像配置距離としては不適切なので、排除するものである。
次に、カメラ画像配置演算部115は、ステップST26において、一定以上の速度で遠ざかっている物体をリストから削除する。次に、カメラ画像配置演算部115は、ステップST27において、視錐台およびその近傍から外れる物体をリストから削除する。そして、カメラ画像配置演算部115は、ステップST28において、リストにデータが残っているか否かを判断する。
リストにデータが残っているとき、カメラ画像配置演算部115は、ステップST29において、車両から最も近い物体との距離をカメラ画像配置距離に採用する。カメラ画像配置演算部115は、ステップST29の処理の後、ステップST30において、一連の処理を終了する。
また、ステップST28でリストにデータが残っていないとき、ステップST31において、予め定めたデフォルト距離をカメラ画像配置距離に採用する。ここで、デフォルト距離は、遠景を配置するのに適した距離である。距離感を提示する上では計算能力が許す限り遠方が望ましい。しかし、現実的には、例えば、中央後方距離計測部104の計算能力を参考にデフォルト距離が決められる。例えば、デフォルト距離は、Lidar(light detection and ranging)では100m程、ToFセンサでは250m程とすることが考えられる。カメラ画像配置演算部115は、ステップST31の処理の後、ステップST30において、一連の処理を終了する。
図15のフローチャートは、カメラ画像配置演算部115の処理フローの他の一例を示している。この処理例は、上述の(1)、(3)、(4)の事象を考慮したものであり、後方距離計測部で取得される距離画像の他に、中央後方撮影部103で得られたカメラ画像を用いて実現し得るものである。
カメラ画像配置演算部115は、後方距離計測部で距離画像を取得する毎に、図15のフローチャートに示す処理フローを実行する。なお、後方距離計測部は、例えば、120fpsの頻度で距離画像を取得する。
カメラ画像配置演算部115は、ステップST61において、後方距離計測部で距離画像を取得するタイミングで処理を開始する。次に、カメラ画像配置演算部115は、ステップST62において、距離画像から物体を抽出し、一定以上の大きさの物体について、位置、形状、大きさ、距離のリストを作成する。
次に、カメラ画像配置演算部115は、ステップST63において、作成されたリストからカメラの有効撮影距離を外れる物体を排除する。これは、カメラのフォーカスが合わない距離にある物体を外すことを意図している。距離が測定できても、カメラ画像が撮影できないのであれば、カメラ画像配置距離としては不適切なので、排除するものである。
次に、カメラ画像配置演算部115は、ステップST64において、画像認識により物体を認識し、画像配置に不相応な物体(例えば、鳥、枯れ葉など)をリストから削除する。次に、カメラ画像配置演算部115は、ステップST65において、視錐台およびその近傍から外れる物体をリストから削除する。そして、カメラ画像配置演算部115は、ステップST66において、リストにデータが残っているか否かを判断する。
リストにデータが残っているとき、カメラ画像配置演算部115は、ステップST67において、車両から最も近い物体との距離をカメラ画像配置距離に採用する。カメラ画像配置演算部115は、ステップST67の処理の後、ステップST68において、一連の処理を終了する。
また、ステップST66でリストにデータが残っていないとき、ステップST69において、予め定めたデフォルト距離(遠景を配置するのに適した距離)をカメラ画像配置距離に採用する。カメラ画像配置演算部115は、ステップST69の処理の後、ステップST68において、一連の処理を終了する。
図16のフローチャートは、カメラ画像配置演算部115の処理フローのさらに他の一例を示している。この処理例は、上述の(1)、(3)、(5)の事象を考慮したものであり、後方距離計測部で取得される距離画像の他に、視線計測部106における運転者(ユーザ)の視線検出結果を用いて実現し得るものである。
カメラ画像配置演算部115は、後方距離計測部で距離画像を取得する毎に、図16のフローチャートに示す処理フローを実行する。なお、後方距離計測部は、例えば、120fpsの頻度で距離画像を取得する。
カメラ画像配置演算部115は、ステップST71において、後方距離計測部で距離画像を取得するタイミングで処理を開始する。次に、カメラ画像配置演算部115は、ステップST72において、距離画像から物体を抽出し、一定以上の大きさの物体について、位置、形状、大きさ、距離のリストを作成する。
次に、カメラ画像配置演算部115は、ステップST73において、作成されたリストからカメラの有効撮影距離を外れる物体を排除する。そして、カメラ画像配置演算部115は、ステップST74において、リストにデータが残っているか否かを判断する。
リストにデータが残っているとき、カメラ画像配置演算部115は、ステップST75において、視線計測部106で得られる運転者(ユーザ)の視線を取得する。そして、カメラ画像配置演算部115は、ステップST76において、視線に最も近い位置にある物体の距離をカメラ画像配置距離に採用する。カメラ画像配置演算部115は、ステップST76の処理の後、ステップST77において、一連の処理を終了する。
また、ステップST74でリストにデータが残っていないとき、ステップST78において、予め定めたデフォルト距離(遠景を配置するのに適した距離)をカメラ画像配置距離に採用する。カメラ画像配置演算部115は、ステップST78の処理の後、ステップST77において、一連の処理を終了する。
図17は、使用カメラ画像が1つ、つまり中央後方撮影部103によるカメラ画像だけを使用する場合におけるカメラ画像の配置位置を示している。カメラ画像は中央後方撮影部103により所定の撮影画角で撮影されて得られたものである。このカメラ画像は、仮想空間上において、車両10の後部から、カメラ画像配置演算部115で算出されたカメラ画像配置距離だけ離れた位置に配置される。なお、このように中央後方撮影部103だけを使用する場合、カメラ画像配置演算部115では、上述したようにカメラ画像配置距離を算出する際に、中央後方距離計測部104で得られた距離画像が用いられて、車両10の後部(後方距離測定部104)からのカメラ画像配置距離が算出される。
図18は、使用カメラ画像が複数の場合、例えば、中央後方撮影部103および右側後方撮影部103Rによる2つのカメラ画像、あるいは中央後方撮影部103および左側後方撮影部103Lによる2つのカメラ画像、あるいは中央後方撮影部103、右側後方撮影部103Rおよび左側後方撮影部103Lによる3つのカメラ画像を使用する場合における合成カメラ画像の配置位置を示している。
この場合、対応する複数台の後方距離計測部のそれぞれで後方の距離画像が得られる。それらの距離画像は別々に測定された距離になるため、仮想映像表示部107Aを中心とした距離画像に合成される。合成カメラ画像は、仮想空間上において、仮想映像表示部107Aから、カメラ画像配置演算部115で算出されたカメラ画像配置距離だけ離れた位置に配置される。なお、このように複数台のカメラを使用する場合、カメラ画像配置演算部115では、上述したようにカメラ画像配置距離を算出する際に、複数台の後方距離計測部の距離画像を合成したものが用いられて、仮想映像表示部107Aからのカメラ画像配置距離が算出される。
図3に戻って、仮想空間配置演算部116は、仮想空間上に描画に必要な要素を配置する。すなわち、仮想空間配置演算部116は、仮想空間上に、記憶部111に記憶されている車両10の3D CGデータ(ボディ、窓、内装など)を配置すると共に、カメラ画像配置演算部115で算出されたカメラ画像配置距離の位置にカメラ画像を配置し、さらに、視錐台形状配置演算部112で算出された形状と位置に基づいて視錐台を配置する。
図19は、使用カメラ画像が1つ、つまり中央後方撮影部103によるカメラ画像だけを使用する場合の仮想空間上における描画に必要な要素の配置例を示している。また、図20は、使用カメラ画像が複数の場合の仮想空間上における描画に必要な要素の配置例を示している。なお、図示の例は、中央後方撮影部103、右側後方撮影部103Rおよび左側後方撮影部103Lの3台を使用する場合を示している。
上述したように、複数台のカメラを使用する場合、それぞれで撮影されて得られたカメラ画像は、仮想映像表示部107Aを中心とした円筒状のカメラ画像合成面で合成されて用いられる。円筒形にカメラ画像を合成することで、カメラ画像のつなぎ目が目立たないように画像処理を行うことができる。このとき、実際に車両10に設置する中央後方撮影部103、右側後方撮影部103Rおよび左側後方撮影部103Lも、図20に示すように、それぞれのカメラ光軸が仮想映像表示部107Aの中心を通るように配置することで、カメラ画像の合成時に補正量が少ない、より自然な画像を得ることができる。
射影演算部117は、仮想映像表示部107Aを射影面として、仮想空間上のオブジェクトを射影画像に変換する。画像描画部118は、射影演算部117で得られた射影画像にカメラ画像および3D CGデータのディテールを描画する処理、さらには画像の大きさを映像表示部107の大きさに合わせるための拡大縮小の処理を施し、映像表示部107に供給する表示画像を出力する。図21(a),(b)は、画像描画部118で得られる表示画像の一例を示している。図21(b)は、図21(a)に比べて基準視界の表示サイズが大きくされた場合の例を示している。
基準視界の設定について説明する。基準視界の設定ポイントとしては、(1)表示位置、(2)表示サイズ、(3)横方向全体の圧縮(曲率)、(4)横方向端部のみの圧縮、(5)縦方向全体の圧縮(曲率)、(6)縦方向端部のみの圧縮(曲率)などが考えられる。それぞれの設定方法として様々な方法が考えられるが、ここでは、(1)と(2)に関してはボタン操作を使った設定方法を、(3)~(6)に関しては映像表示部107上のタッチパネル操作を使った設定方法を例として説明する。
最初に、(1)表示位置の操作方法の一例を説明する。この場合、図22(a)に示すように、例えば、運転者(ユーザ)は、上下左右のボタンを用いて表示位置を変更する。運転者が上下左右のボタンを押すことで、基準仮想視点位置が上下左右の反対方向に移動する。例えば、運転者が左ボタンを押すと、図22(b)に示すように、仮想基準視点値は反対方向の右に動き、仮想映像表示部の位置は固定されているので、これにより視錐台の方向が左向きに代わり、映像表示部107に表示される画像範囲は左側に移動する。
次に、(2)表示サイズの操作方法の一例を説明する。この場合、図23(a)に示すように、例えば、運転者(ユーザ)は、「+」、「-」のボタンを用いて表示位置を変更する。運転者が「+」、「-」のボタンを押すことで、基準仮想視点位置が前後方向に移動する。例えば、運転者が「+」ボタンを押すと、図23(b)に示すように、仮想基準視点値は仮想映像表示部に近づき、仮想映像表示部の位置は固定されているので、これにより視錐台の画角が拡大し、表示される範囲(表示サイズ)が大きくなる。
次に、(3)横方向全体の圧縮(曲率)の操作方法の一例を説明する。図24は、この操作方法を示している。運転者(ユーザ)が画面中央付近で左右にピンチインすると、ピンチインした大きさに応じて仮想映像表示部の横方向のサイズが拡大する。このとき、基準仮想視点位置は固定されているので、視錐台が横方向全体に大きくなる。実映像表示部(映像表示部107)のサイズは固定であるため、仮想→実像変換は全体的に左右方向に圧縮した変換になり、実映像表示部107に表示される表示映像は左右方向に圧縮されたものとなる。
反対に運転者が画面中央付近で左右にピンチアウト操作をした場合は、視錐台が横方向に小さくなり、実映像表示部107に表示される表示映像の左右方向への圧縮率が小さくなる。このようなピンチイン、ピンチアウトの加減によって、画面全体の左右方向の圧縮の倍率(実ミラーの左右方向全体の曲率に対応)が調整される。
次に、(4)横方向端部のみの圧縮(曲率)の操作方法の一例を説明する。図25は、この操作方法を示している。運転者(ユーザ)が画面の右端部付近で左右にピンチインすると、ピンチインした大きさに応じて仮想映像表示部の右方向のサイズが拡大する。このとき、基準仮想視点位置は固定されているので、視錐台が右方向に大きくなる。実映像表示部(映像表示部107)のサイズは固定であるため、仮想→実像変換は右端部で左右方向に圧縮した変換になり、映像表示部107に表示される表示映像は右端部で左右方向に圧縮されたものとなる。
反対に運転者が画面中央付近で左右にピンチアウト操作をした場合は、仮想映像表示部の右方向のサイズが小さくなり、視推台の右方向の大きさが小さくなる。このようなピンチイン、ピンチアウトの加減によって、画面の右端部の左右方向の圧縮の倍率(実ミラーの右端部の曲率に対応)が調整される。なお、詳細説明は省略するが、左端部の左右方向の圧縮倍率も同様にして調整することができる。また、右端部あるいは左端部の左右方向の圧縮率を調整する際に、双方の圧縮率を同時に調整することも考えられる。
次に、(5)縦方向全体の圧縮(曲率)の操作方法の一例を説明する。図26は、この操作方法を示している。運転者(ユーザ)が画面中央付近で上下にピンチインすると、ピンチインした大きさに応じて仮想映像表示部の縦方向のサイズが拡大する。このとき、基準仮想視点位置は固定されているので、視錐台が縦方向全体に大きくなる。実映像表示部(映像表示部107)のサイズは固定であるため、仮想→実像変換は全体的に上下方向に圧縮した変換になり、実映像表示部107に表示される表示映像は上下方向に圧縮されたものとなる。
反対に運転者が画面中央付近で上下にピンチアウト操作をした場合は、視錐台が縦方向に小さくなり、実映像表示部107に表示される表示映像の上下方向への圧縮率が小さくなる。このようなピンチイン、ピンチアウトの加減によって、画面全体の上下方向の圧縮の倍率(実ミラーの上下方向全体の曲率に対応)が調整される。
次に、(6)縦方向端部のみの圧縮(曲率)の操作方法の一例を説明する。図27は、この操作方法を示している。運転者(ユーザ)が画面の上端部付近で左右にピンチインすると、ピンチインした大きさに応じて仮想映像表示部の上方向のサイズが拡大する。このとき、基準仮想視点位置は固定されているので、視錐台が上方向に大きくなる。実映像表示部(映像表示部107)のサイズは固定であるため、仮想→実像変換は上端部で上下方向に圧縮した変換になり、実映像表示部107に表示される表示映像は上端部で上下方向に圧縮されたものとなる。
反対に運転者が画面中央付近で左右にピンチアウト操作をした場合は、仮想映像表示部の上方向のサイズが小さくなり、視推台の上方向の大きさが小さくなる。このようなピンチイン、ピンチアウトの加減によって、画面の上端部の上下方向の圧縮の倍率(実ミラーの右端部の曲率に対応)が調整される。なお、詳細説明は省略するが、下端部の上下方向の圧縮倍率も同様にして調整することができる。また、上端部あるいは下端部の上下方向の圧縮率を調整する際に、双方の圧縮率を同時に調整することも考えられる。
図28のフローチャートは、画像処理装置109における通常動作フローの一例を示している。画像処理装置109は、ステップST71において、処理を開始する。次に、画像処理装置109は、ステップST72において、基準視界設定の変更操作があるか否かを判断する。変更操作があるとき、画像処理装置109は、ステップST73において、ユーザ操作に基づいて基準視界設定の変更を行う(図24~図27参照)。
画像処理装置109は、ステップST73の処理の後、ステップST74の処理に進む。また、ステップST72で変更操作がないとき、画像処理装置109は、直ちに、ステップST74の処理に進む。画像処理装置109は、ステップST74において、映像表示部107に表示する表示画像を生成するための処理をする。画像処理装置109は、ステップST74の処理の後、ステップST72に戻って、上述したと同様の処理を繰り返す。
図29のフローチャートは、図28のステップST74の表示画像処理の一例を示している。画像処理装置109は、ステップST41において、処理を開始する。次に、画像処理装置109は、ステップST42において、視点計測部105の検出結果に基づいて現在の視点位置を取得する。
次に、画像処理装置109は、ステップST43において、基準視点位置と現在の視点位置との差分を基準仮想視点位置からの仮想視点の差分に変換して仮想視点位置を算出する(図6参照)。次に、画像処理装置109は、ステップST44において、仮想視点位置から視錐台の形状と位置を算出する。
次に、画像処理装置109は、ステップST45において、使用カメラ画像は複数が否かを判断する。ここで、使用カメラ画像の個数は、1つの場合と、複数の場合とがあり、基準仮想視点位置と仮想映像表示部107Aによって形成される視錐部が、どのカメラ画像の領域を含んでいるかで決まる。
例えば、図30に示すように1つのカメラ画像(中央後方撮影部103によるカメラ画像)のみに視錐台が収まる場合は、使用カメラ画像は1つとなる。また、例えば、図31に示すように3つの台のカメラである中央後方撮影部103、右側後方撮影部103Rおよび左側後方撮影部103Lによるカメラ画像に跨って視錐台がある場合は、使用カメラ画像は3つとなる。同様の考えで、図示は省略するが、使用カメラ画像が中央後方撮影部103および右側後方撮影部103Rによる2つのカメラ画像、あるいは中央後方撮影部103および左側後方撮影部103Lによる2つのカメラ画像ということもあり得る。
図29に戻って、ステップST45で使用カメラ画像が1つあるとき、画像処理装置109は、ステップST46において、その1つのカメラ画像を取得する。次に、画像処理装置109は、ステップST47において、カメラ画像配置距離を算出する(図17参照)。この場合、中央後方距離計測部104で得られた距離画像が用いられて、車両10の後部(中央後方距離測定部104)からのカメラ画像配置距離が算出される。画像処理装置109は、ステップST47の処理の後、ステップST48の処理に進む。
また、ステップST45で使用カメラ画像が複数であるとき、画像処理装置109は、ステップST49において、その複数のカメラ画像を取得する。次に、画像処理装置109は、ステップST50において、複数のカメラ画像を合成する。この場合、仮想空間上に用意された、仮想映像表示部107Aを中心とした円筒状のカメラ画像配置面にマッピングされる。
次に、画像処理装置109は、ステップST51において、カメラ画像配置距離を算出する(図18参照)。この場合、複数台の後方距離計測部の距離画像を合成したものが用いられて、仮想映像表示部107Aからのカメラ画像配置距離が算出される。画像処理装置109は、ステップST51の処理の後、ステップST48の処理に進む。
ステップST48において、画像処理装置109は、仮想空間上に、描画に必要な要素である、車両10の3D CGデータ(ボディ、窓、内装など)、カメラ画像、視錐台を配置する(図19、図20参照)。次に、画像処理装置109は、ステップST52において、仮想空間上の構成物を射影座標系に変換して射影画像を得る。
次に、画像処理装置109は、ステップST53において、射影画像にカメラ画像および3D CGデータのディテールを描画する処理を行って表示画像を得る。次に、画像処理装置109は、ステップST54において、表示画像を映像表示部107に出力する。画像処理装置109は、ステップST54の処理の後、ステップST55において、処理を終了する。
画像処理装置109は、上述の通常動作フローの処理を、映像表示部107の更新頻度、例えば120fpsに同期して連続して行う。これにより、映像表示部107に表示される表示画像は、視点の運動と、着目する後方物体との距離によって、描画対象オブジェクトの重なり具合が適切に変化し、つまり適切な運動視差が得られ、運転者(ユーザ)は、後方のカメラ画像に対して適切な距離感を得ることができる。
図32(a),(b),(c)は映像表示部107に表示される表示画像の一例を示している。図32(a)は運転者の視点位置が標準視点位置にある場合を示しており、図32(b)は運転者の視点位置が標準視点位置から右に移動した場合を示しており、さらに、図32(c)は運転者の視点位置が標準視点位置から左に移動した場合を示している。運転者の視点位置に応じて、車室内CG画像とカメラ画像内のオブジェクト(自動車)との重なり具合が変化していることが分かる。
なお、内装オブジェクトや車体は、実ミラーであれば後方が見えない死角を作ってしまうが、本技術では、描画の際に透過して描画したり、或いは一部を非表示にしたりすることで、運動視差によって距離感の知覚を補助しつつ、後方視界を広く保つことも可能である。例えば、図33(a)は、内装オブジェクトとしての後部シートを非表示としたものである。また、図33(b)は、車体および内装オブジェクトとしての後部シートを低透過率としたものであり、図33(c)は、車体および内装オブジェクトとしての後部シートを高透過率としたものである。
勿論、死角の発生を気にしなければ、内装オブジェクトや車体を透過率0%で描画し、実ミラーのような画像を生成して表示してもよい。
また、内装オブジェクトは、シート等に限らず、例えば窓ガラス上に絵柄を描くことで、より距離知覚を強調することもできる。図33(d)は、窓ガラス上のオブジェクトとして水平ラインを設けたものである。
上述したように、図1に示す車両10においては、図3に示す画像処理装置109により、運転者(ユーザ)によるユーザ操作部108の操作に応じて、基準視界設定が行われる。そのため、運転状況に応じた、あるいは運転者(個人)の好みに応じた視界の提供を良好に実現できる。
また、図1に示す車両10においては、図3に示す画像処理装置109により、車両10の後方を撮影して得られたカメラ画像に車室内画像を重畳して、従来のルームミラーの代わりに配される映像表示部107に表示する表示画像を得るものである。車両10の後方を撮影して得られたカメラ画像だけで表示画像を構成するものではなく、そのカメラ画像に車室内画像を重畳して表示画像を得るものであることから、運動視差による距離感の提供を簡単に実現できる。
また、図1に示す車両10においては、図3に示す画像処理装置109により、運転者の視点の運動に従ってカメラ画像と車室内画像との重畳位置関係を変化させるものである。そのため、実際のバックミラーを見ているのに近い運動視差を生じさせ、運転者の距離間の知覚を補助できる。
また、図1に示す車両10においては、図3に示す画像処理装置109により、カメラ画像と車両を示す画像を三次元空間に配置し、運転者の視点の運動に従って変化する仮想視点位置を求め、その仮想視点位置で決まる視界によってカメラ画像と車室内画像を射影座標系に変換して表示画像を得るものである。そのため、運転者の視点の運動に従ってカメラ画像と車室内画像との重畳位置関係を精度よく変化させることができる。
また、図1に示す車両10においては、図3に示す画像処理装置109により、カメラ画像を、車両10の後方に存在する着目する物体(オブジェクト)の位置に配置して、表示画像を得るものである。そのため、着目する物体を三次元空間の正しい位置に正しい大きさで配置でき、その物体と車室内画像との間で起こる運動視差を正しく表現することができる。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
車両用の電子ミラーは、荷物の積載などにも影響を受けず、実際のミラーと比較しても死角が少ない後方視界を提供できる利点がある。しかしながら、電子ミラーには距離感が直感的に知覚しづらいという問題がある。人が距離を知覚するための重要な要素に、両眼視差、輻輳角、調節、運動視差がある。
このうち運動視差は、距離の異なる二つ以上の物体が、視点の運動に伴って見え隠れする現象であり、上述の特許文献1に記載される技術のようにカメラ画像の表示箇所を運動させただけでは、見え隠れの変化が乏しく運動視差による距離感の提示効果は非常に薄いと考えられる。本技術では、後方カメラ画像に、車室内のオブジェクトを重畳描画し、それらに運動視差を加えることで、積極的に運動視差による距離感の提供を行い、直感的で運転者(ユーザ)に馴染みやすい電子ミラーを提供できる。
<2.変形例>
なお、上述実施の形態においては、運転者(ユーザ)がユーザ操作部108から基準視界を設定し、その設定情報に基づいて表示映像を生成して、ルームミラーに相当する映像表示部107に表示する例を示した。
実際のユースケースを考えると、運転者の好みや、車種、運転状況に応じて、予めいくつかの表示モード(基準視界設定)を保持しておき、切り替えて使うことも想定される。ここでは、以下の(1)~(4)を切り替える方法を説明する。なお、この例では4モードの切り替えを示すが、必要に応じて保持する表示モードの数は可変するものとする。
(1)平面鏡(標準的な表示)
(2)曲面鏡(画面横方向に曲率をもった表示)
(3)右端曲面鏡(画面右端部に曲率をもった表示)
(4)左端曲面鏡(画面左端部に曲率をもった表示)
表示モード切り替える操作方法としては、メニューによる切り替えや、運転操作や車両の走行状況の応じた切り替えなど、様々な実現方法が考えられる。ここでは、図34(a)に示すように、モード(mode)ボタンを押す度に予め用意された(1)~(4)の表示モードをトグル的に切り替えて使用することができる。図34(b)は、表示モード(1)~(4)に対応してトグル的に切り替えられる映像表示部107上の表示画像の一例を示している。
なお、この例ではボタン操作で表示モードを切り替えているが、走行速度や方向指示器、ハンドル操作などの運転操作に伴って自動的に適切な表示モードを提供する方法や、ナビゲーション装置と連動して場所に基づいて自動的に適切な表示モードを提供する方法も考えられる。
また、上述の画像処理装置109における一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図35は、上述の一連の処理をプログラムにより実行するコンピュータ400のハードウェアの構成例を示すブロック図である。
コンピュータ400において、CPU(Central Processing Unit)401、ROM(Read Only Memory)402、RAM(Random Access Memory)403は、バス404により相互に接続されている。
バス404には、さらに、入出力インターフェース405が接続されている。入出力インターフェース405には、入力部406、出力部407、記録部408、通信部409およびドライブ410が接続されている。
入力部406は、入力スイッチ、ボタン、マイクロフォン、撮像素子などよりなる。出力部407は、ディスプレイ、スピーカなどよりなる。記録部408は、ハードディスクや不揮発性のメモリなどよりなる。通信部409は、ネットワークインターフェースなどよりなる。ドライブ410は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア411を駆動する。
以上のように構成されるコンピュータ400では、CPU401が、例えば、記録部408に記録されているプログラムを、入出力インターフェース405およびバス404を介して、RAM403にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ400(CPU401)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア411に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータでは、プログラムは、リムーバブルメディア411をドライブ410に装着することにより、入出力インターフェース405を介して、記録部408にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部409で受信し、記録部408にインストールすることができる。その他、プログラムは、ROM402や記録部408に予めインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本技術は、以下のような構成もとることができる。
(1)車両の後方を撮影して得られた撮影画像に車室内画像を重畳して表示画像を生成する処理部を備え、
上記処理部は、基準視界の設定情報に基づいて上記表示画像を生成し、
上記基準視界を設定する設定部をさらに備える
画像処理装置。
(2)上記基準視界設定として、表示位置設定を含む
前記(1)に記載の画像処理装置。
(3)上記基準視界設定として、表示サイズ設定を含む
前記(1)または(2)に記載の画像処理装置。
(4)上記基準視界設定として、横方向の全体または一部の圧縮設定を含む
前記(1)から(3)のいずれかに記載の画像処理装置。
(5)上記基準視界設定として、縦方向の全体または一部の圧縮設定を含む
前記(1)から(4)のいずれかに記載の画像処理装置。
(6)上記処理部は、上記車両の後方を撮影して得られた撮影画像として、上記車両の後部に取り付けられた撮影装置で撮影された撮影画像とともに上記車両の側部に取り付けられた撮影装置で撮影された撮影画像を用いる
前記(1)から(5)のいずれかに記載の画像処理装置。
(7)複数の上記基準視界設定から任意の基準視界設定を選択する選択部をさらに備え、
上記処理部は、上記選択された基準視界設定に基づいて上記表示画像を生成する
前記(1)から(6)のいずれかに記載の画像処理装置。
(8)上記車室内画像は、コンピュータグラフィックス画像である
前記(1)から(7)のいずれかに記載の画像処理装置。
(9)上記処理部は、運転者の視点の運動に従って上記撮影画像と上記車室内画像との重畳位置関係を変化させる
前記(1)から(8)のいずれかに記載の画像処理装置。
(10)上記処理部は、
上記撮影画像と上記車室内画像を三次元空間に配置し、
上記運転者の視点の運動に従って変化する仮想視点位置を求め、該仮想視点位置で決まる視界によって上記撮影画像と上記車室内画像を射影座標系に変換して上記表示画像を得る
前記(9)に記載の画像処理装置。
(11)上記処理部は、上記撮影画像を、上記車両の後方に存在する所定のオブジェクトの位置に配置する
前記(10)に記載の画像処理装置。
(12)上記所定のオブジェクトは、上記車両に対して最も近くにあるオブジェクトである
前記11に記載の画像処理装置。
(13)上記所定のオブジェクトは、上記運転者が見ているオブジェクトである
前記(11)に記載の画像処理装置。
(14)上記処理部は、運転者毎に登録されている基準視点位置および基準仮想視点位置に基づいて、上記運転者の視点の運動に従って変化する仮想視点位置を求める
前記(10)から(13)のいずれかに記載の画像処理装置。
(15)上記処理部は、上記車室内画像を上記撮影画像が透過して見えるように該撮影画像に重畳する
前記(1)から(14)のいずれかに記載の画像処理装置。
(16)車両の後方を撮影して得られた撮影画像に車室内画像を重畳して表示画像を生成する手順を有し、
上記表示画像を生成する手順では、基準視界の設定情報に基づいて上記表示画像を生成し、
上記基準視界を設定する手順をさらに有する
画像処理方法。
(17)車両の後方を撮影する撮影部と、
車両の後方を撮影して得られた撮影画像に車室内画像を重畳して表示画像を生成する処理部を備え、
上記処理部は、基準視界の設定情報に基づいて上記表示画像を生成し、
上記基準視界を設定する設定部と、
上記処理部で生成された表示画像を表示する表示部をさらに備える
画像処理システム。
(18)車両の後方を撮影して得られた撮影画像に車室内画像を重畳して表示画像を生成する手順を有し、
上記表示画像を生成する手順では、基準視界の設定情報に基づいて上記表示画像を生成し、
上記基準視界を設定する手順をさらに有する
画像処理方法をコンピュータに実行させるためのプログラム。
10・・・・車両
100・・・車体(ボディ)
101・・・車体開口部(窓)
102・・・内装オブジェクト
103・・・中央後方撮影部
103R・・・右側後方撮影部
103L・・・左側後方撮影部
104・・・中央後方距離計測部
104R・・・右側後方距離計測部
104L・・・左側後方距離計測部
105・・・視点計測部
106・・・視線計測部
107・・・映像表示部
107A・・・仮想映像表示部
108・・・ユーザ操作部
109・・・画像処理装置
111・・・記憶部
112・・・視錐台形状配置演算部
113・・・物体履歴記憶部
115・・・カメラ画像配置演算部
116・・・仮想空間配置演算部
117・・・射影演算部
118・・・画像描画部

Claims (15)

  1. 車両の後方を撮影して得られた撮影画像に車室内画像を重畳して表示画像を生成する処理部を備え、
    上記処理部は、基準視界の設定情報に基づいて上記表示画像を生成し、
    上記基準視界を設定する設定部をさらに備え、
    上記設定情報は、複数の表示モードのうち特定された一つのモードに対応した情報であり、
    上記複数の表示モードは、平面鏡に対応する曲率を持った表示である第1のモード、画面横方向に曲率を持った表示である第2のモード、画面右端部に曲率を持った表示である第3のモード、画面左端部に曲率を持った表示である第4のモードのうちの複数を含み、
    上記処理部は、上記撮影画像と上記車室内画像を三次元空間に配置し、運転者の視点の運動に従って変化する仮想視点位置を求め、該仮想視点位置で決まる視界によって上記撮影画像と上記車室内画像を射影座標系に変換して上記表示画像を得、
    上記処理部は、上記撮影画像を、上記車両の後方に存在するオブジェクトの位置に配置する
    画像処理装置。
  2. ユーザの入力装置の操作により、上記一つのモードが選択される
    請求項1に記載の画像処理装置。
  3. 上記基準視界の設定として、表示位置設定を含む
    請求項1に記載の画像処理装置。
  4. 上記基準視界の設定として、表示サイズ設定を含む
    請求項1に記載の画像処理装置。
  5. 上記基準視界の設定として、横方向の全体または一部の圧縮設定を含む
    請求項1に記載の画像処理装置。
  6. 上記基準視界の設定として、縦方向の全体または一部の圧縮設定を含む
    請求項1に記載の画像処理装置。
  7. 上記処理部は、上記車両の後方を撮影して得られた撮影画像として、上記車両の後部に取り付けられた撮影装置で撮影された撮影画像とともに上記車両の側部に取り付けられた撮影装置で撮影された撮影画像を用いる
    請求項1に記載の画像処理装置。
  8. 複数の上記基準視界の設定から任意の基準視界の設定を選択する選択部をさらに備え、
    上記処理部は、上記選択された基準視界の設定に基づいて上記表示画像を生成する
    請求項1に記載の画像処理装置。
  9. 上記車室内画像は、コンピュータグラフィックス画像である
    請求項1に記載の画像処理装置。
  10. 上記オブジェクトは、上記車両に対して最も近くにあるオブジェクトである
    請求項に記載の画像処理装置。
  11. 上記オブジェクトは、上記運転者が見ているオブジェクトである
    請求項に記載の画像処理装置。
  12. 上記処理部は、運転者毎に登録されている基準視点位置および基準仮想視点位置に基づいて、上記運転者の視点の運動に従って変化する仮想視点位置を求める
    請求項に記載の画像処理装置。
  13. 上記処理部は、上記車室内画像を上記撮影画像が透過して見えるように該撮影画像に重畳する
    請求項1に記載の画像処理装置。
  14. 車両の後方を撮影して得られた撮影画像に車室内画像を重畳して表示画像を生成する手順を有し、
    上記表示画像を生成する手順では、基準視界の設定情報に基づいて上記表示画像を生成し、
    上記基準視界を設定する手順をさらに有し、
    上記設定情報は、複数の表示モードのうち特定された一つのモードに対応した情報であり、
    上記複数の表示モードは、平面鏡に対応する曲率を持った表示である第1のモード、画面横方向に曲率を持った表示である第2のモード、画面右端部に曲率を持った表示である第3のモード、画面左端部に曲率を持った表示である第4のモードのうちの複数を含み、
    上記表示画像を生成する手順では、上記撮影画像と上記車室内画像を三次元空間に配置し、運転者の視点の運動に従って変化する仮想視点位置を求め、該仮想視点位置で決まる視界によって上記撮影画像と上記車室内画像を射影座標系に変換して上記表示画像を得、
    上記表示画像を生成する手順では、上記撮影画像を、上記車両の後方に存在するオブジェクトの位置に配置する
    画像処理方法。
  15. 車両の後方を撮影する撮影部と、
    車両の後方を撮影して得られた撮影画像に車室内画像を重畳して表示画像を生成する処理部を備え、
    上記処理部は、基準視界の設定情報に基づいて上記表示画像を生成し、
    上記基準視界を設定する設定部と、
    上記処理部で生成された表示画像を表示する表示部をさらに備え、
    上記設定情報は、複数の表示モードのうち特定された一つのモードに対応した情報であり、
    上記複数の表示モードは、平面鏡に対応する曲率を持った表示である第1のモード、画面横方向に曲率を持った表示である第2のモード、画面右端部に曲率を持った表示である第3のモード、画面左端部に曲率を持った表示である第4のモードのうちの複数を含み、
    上記処理部は、上記撮影画像と上記車室内画像を三次元空間に配置し、運転者の視点の運動に従って変化する仮想視点位置を求め、該仮想視点位置で決まる視界によって上記撮影画像と上記車室内画像を射影座標系に変換して上記表示画像を得、
    上記処理部は、上記撮影画像を、上記車両の後方に存在するオブジェクトの位置に配置する
    画像処理システム。
JP2020559263A 2018-12-11 2019-12-10 画像処理装置、画像処理方法および画像処理システム Active JP7484722B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018232048 2018-12-11
JP2018232048 2018-12-11
PCT/JP2019/048363 WO2020122084A1 (ja) 2018-12-11 2019-12-10 画像処理装置、画像処理方法および画像処理システム

Publications (2)

Publication Number Publication Date
JPWO2020122084A1 JPWO2020122084A1 (ja) 2021-10-21
JP7484722B2 true JP7484722B2 (ja) 2024-05-16

Family

ID=71077293

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020559263A Active JP7484722B2 (ja) 2018-12-11 2019-12-10 画像処理装置、画像処理方法および画像処理システム

Country Status (6)

Country Link
US (1) US12088952B2 (ja)
EP (1) EP3896963A4 (ja)
JP (1) JP7484722B2 (ja)
KR (1) KR20210100608A (ja)
CN (1) CN113170083B (ja)
WO (1) WO2020122084A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11958358B2 (en) * 2018-05-08 2024-04-16 Sony Semiconductor Solutions Corporation Image processing apparatus, moving apparatus, method, and program
CN113170084B (zh) * 2018-12-11 2024-09-03 索尼集团公司 图像处理装置、图像处理方法和图像处理系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002135765A (ja) 1998-07-31 2002-05-10 Matsushita Electric Ind Co Ltd カメラキャリブレーション指示装置及びカメラキャリブレーション装置
JP2004287845A (ja) 2003-03-20 2004-10-14 Aisin Seiki Co Ltd 車両運転者の視線検出装置
JP2007081590A (ja) 2005-09-13 2007-03-29 Matsushita Electric Ind Co Ltd 車両側方確認装置
JP2009100180A (ja) 2007-10-16 2009-05-07 Denso Corp 車両後方監視装置
JP2012226665A (ja) 2011-04-21 2012-11-15 Canon Inc 情報処理装置、その処理方法、プログラム及び撮像装置
JP2014198531A (ja) 2013-03-29 2014-10-23 アイシン精機株式会社 画像表示制御装置、画像表示システム、および表示ユニット
JP2015201680A (ja) 2014-04-04 2015-11-12 富士通株式会社 画像表示装置、画像表示方法及び画像表示プログラム
JP2017111739A (ja) 2015-12-18 2017-06-22 株式会社デンソー 運転支援装置、運転支援方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8179435B2 (en) 2005-09-28 2012-05-15 Nissan Motor Co., Ltd. Vehicle surroundings image providing system and method
JP5088669B2 (ja) 2007-03-23 2012-12-05 株式会社デンソー 車両周辺監視装置
EP1974998B1 (en) 2007-03-26 2011-05-25 Aisin AW Co., Ltd. Driving support method and driving support apparatus
JP5627253B2 (ja) * 2009-05-29 2014-11-19 富士通テン株式会社 画像処理装置、電子装置、および、画像処理方法
JP2010274813A (ja) 2009-05-29 2010-12-09 Fujitsu Ten Ltd 画像生成装置及び画像表示システム
JP5302227B2 (ja) * 2010-01-19 2013-10-02 富士通テン株式会社 画像処理装置、画像処理システム、および、画像処理方法
JP5630518B2 (ja) 2012-03-14 2014-11-26 株式会社デンソー 運転支援装置
JP5874920B2 (ja) 2012-04-12 2016-03-02 スズキ株式会社 車両周囲確認用モニター装置
JP5669791B2 (ja) 2012-08-07 2015-02-18 本田技研工業株式会社 移動体の周辺画像表示装置
JP6130118B2 (ja) * 2012-09-28 2017-05-17 富士通テン株式会社 画像処理システム、画像処理装置、画像処理方法、及び、プログラム
WO2014130049A1 (en) 2013-02-25 2014-08-28 Johnson Controls Technology Company Systems and methods for augmented rear-view displays
US10029621B2 (en) * 2013-05-16 2018-07-24 Ford Global Technologies, Llc Rear view camera system using rear view mirror location
JP2016048839A (ja) * 2014-08-27 2016-04-07 株式会社小糸製作所 電子制御ユニットおよび車両用映像システム
JP6565148B2 (ja) * 2014-09-05 2019-08-28 アイシン精機株式会社 画像表示制御装置および画像表示システム
JP6446925B2 (ja) * 2014-09-05 2019-01-09 アイシン精機株式会社 画像表示制御装置および画像表示システム
WO2017056495A1 (ja) 2015-09-28 2017-04-06 京セラ株式会社 画像処理装置、撮像装置、カメラモニタシステム、および画像処理方法
JP6669569B2 (ja) * 2016-04-04 2020-03-18 アルパイン株式会社 車両用周辺監視装置
MX2019000060A (es) 2016-07-13 2019-04-01 Sony Corp Dispositivo generador de imagenes, metodo para la generacion de imagenes, y programa.
WO2018037789A1 (ja) * 2016-08-22 2018-03-01 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP6768412B2 (ja) * 2016-08-26 2020-10-14 株式会社東海理化電機製作所 車両用視認装置及び車両用視認画像表示方法
KR101737737B1 (ko) * 2016-09-06 2017-05-18 덴소코리아일렉트로닉스 주식회사 차량용 카메라 hud 통합 클러스터 시스템
EP3550829B1 (en) * 2017-04-03 2021-08-11 Jvc Kenwood Corporation Bird's-eye-view video generation device, bird's-eye-view video display device, bird's-eye-view video generation method, and program
JP6890288B2 (ja) * 2018-03-28 2021-06-18 パナソニックIpマネジメント株式会社 画像処理装置、画像表示システムおよび画像処理方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002135765A (ja) 1998-07-31 2002-05-10 Matsushita Electric Ind Co Ltd カメラキャリブレーション指示装置及びカメラキャリブレーション装置
JP2004287845A (ja) 2003-03-20 2004-10-14 Aisin Seiki Co Ltd 車両運転者の視線検出装置
JP2007081590A (ja) 2005-09-13 2007-03-29 Matsushita Electric Ind Co Ltd 車両側方確認装置
JP2009100180A (ja) 2007-10-16 2009-05-07 Denso Corp 車両後方監視装置
JP2012226665A (ja) 2011-04-21 2012-11-15 Canon Inc 情報処理装置、その処理方法、プログラム及び撮像装置
JP2014198531A (ja) 2013-03-29 2014-10-23 アイシン精機株式会社 画像表示制御装置、画像表示システム、および表示ユニット
JP2015201680A (ja) 2014-04-04 2015-11-12 富士通株式会社 画像表示装置、画像表示方法及び画像表示プログラム
JP2017111739A (ja) 2015-12-18 2017-06-22 株式会社デンソー 運転支援装置、運転支援方法

Also Published As

Publication number Publication date
US20220030178A1 (en) 2022-01-27
JPWO2020122084A1 (ja) 2021-10-21
EP3896963A4 (en) 2022-01-19
CN113170083B (zh) 2024-09-17
WO2020122084A1 (ja) 2020-06-18
CN113170083A (zh) 2021-07-23
KR20210100608A (ko) 2021-08-17
EP3896963A1 (en) 2021-10-20
US12088952B2 (en) 2024-09-10

Similar Documents

Publication Publication Date Title
CN103770706A (zh) 动态后视镜显示特征
US11813988B2 (en) Image processing apparatus, image processing method, and image processing system
JP7428139B2 (ja) 画像処理装置、画像処理方法および画像処理システム
JP7444073B2 (ja) 画像処理装置、画像処理方法および画像処理システム
JP7484722B2 (ja) 画像処理装置、画像処理方法および画像処理システム
KR101278654B1 (ko) 차량의 주변 영상 디스플레이 장치 및 방법
JP5476216B2 (ja) 車両用周囲監視装置
CN117581531A (zh) 信息处理装置和控制程序
KR20190068162A (ko) 차량용 디스플레이 시스템 및 그 제어 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221017

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230711

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230907

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20231121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240221

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20240304

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240402

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240415

R150 Certificate of patent or registration of utility model

Ref document number: 7484722

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150