JP7494735B2 - 画像処理装置、画像処理方法および画像処理システム - Google Patents

画像処理装置、画像処理方法および画像処理システム Download PDF

Info

Publication number
JP7494735B2
JP7494735B2 JP2020559260A JP2020559260A JP7494735B2 JP 7494735 B2 JP7494735 B2 JP 7494735B2 JP 2020559260 A JP2020559260 A JP 2020559260A JP 2020559260 A JP2020559260 A JP 2020559260A JP 7494735 B2 JP7494735 B2 JP 7494735B2
Authority
JP
Japan
Prior art keywords
image
vehicle
driver
display
viewpoint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020559260A
Other languages
English (en)
Other versions
JPWO2020122079A1 (ja
Inventor
浩二 長田
崇 齊藤
幸治 青山
一樹 横山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2020122079A1 publication Critical patent/JPWO2020122079A1/ja
Application granted granted Critical
Publication of JP7494735B2 publication Critical patent/JP7494735B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/006—Side-view mirrors, e.g. V-shaped mirrors located at the front or rear part of the vehicle
    • B60R1/007—Side-view mirrors, e.g. V-shaped mirrors located at the front or rear part of the vehicle specially adapted for covering the lateral blind spot not covered by the usual rear-view mirror
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/31—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing stereoscopic vision
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/361—Reproducing mixed stereoscopic images; Reproducing mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1253—Mirror assemblies combined with other articles, e.g. clocks with cameras, video cameras or video screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/202—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used displaying a blind spot scene on the vehicle part responsible for the blind spot
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B60R2300/605—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint the adjustment being automatic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8046—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for replacing a rear-view mirror system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Description

本技術は、画像処理装置、画像処理方法および画像処理システムに関し、詳しくは、車載用電子ミラーに適用して好適な画像処理装置等に関する。
従来、車両のバックミラー（ルームミラーや左右のドラミラー）をカメラとディスプレイに置き換えた車載用電子ミラーが提案されている。特許文献１では、電子ミラーの見え方が実際のミラーの見え方と異なることを解決するために、ディスプレイに対する運転者の頭部の相対位置を利用して、カメラ画像のうちディスプレイに表示する範囲を可変する技術が提案されている。
特開２０１３－２１６２８６号公報
運転者が視覚によって認識する重要な情報の一つに運動視差から得る距離感がある。人間は、視点を動かした際に、物体の遠近の位置に応じて、物の見え隠れが変化する事象から、その物体までの距離や、物体同士の相対的な距離を知覚している。特許文献１で提案されている技術では、上記の知覚を補助することができない。
正しい運動視差を提供するシステムの一般的な実現方法としては、複数台のカメラで撮影した多視点映像から個々の被写体の３次元モデルを生成し、その３次元モデルを仮想空間中に再配置する技術が用いられる。近年、このような技術がスポーツ観戦等のＴＶ放送に利用され始めている。しかし、一連の画像処理に求められる計算量は膨大で、車載用電子ミラーのようなリアルタイムかつ計算量が限られたシステムへの適用は、さらなる画像処理性能の向上を待つ必要がある。
本技術の目的は、運動視差による距離感の提供を簡単に実現することにある。
本技術の概念は、
車両の後方を撮影して得られた撮影画像に上記車両を示す画像を重畳して表示画像を得る処理部を備える
画像処理装置にある。
本技術において、処理部により、車両の後方を撮影して得られた撮影画像にその車両を示す画像が重畳されて表示画像が得られる。例えば、車両を示す画像は、コンピュータグラフィックス画像である、ようにされてもよい。コンピュータグラフィックス画像を用いることで、車両を示す画像の生成自由度を高くできる。
例えば、車両の後方を撮影して得られた撮影画像は、その車両の後部に取り付けられた撮影装置で撮影された撮影画像であり、車両を示す画像は、車室内画像である、ようにされてもよい。この場合、表示画像は、ルームミラー表示に対応したものとなる。また、例えば、車両の後方を撮影して得られた撮影画像は、その車両の側部に取り付けられた撮影装置で撮影された撮影画像を含み、その車両を示す画像は、車体画像である、ようにされてもよい。この場合、表示画像は、サイドミラー表示に対応したものとなる。
このように本技術においては、車両の後方を撮影して得られた撮影画像にその車両を示す画像を重畳して表示画像を得るものである。この場合、車両の後方を撮影して得られた撮影画像だけで表示画像を構成するものではなく、その撮影画像に車両を示す画像を重畳して表示画像を得るものであることから、運動視差による距離感の提供を簡単に実現できる。
なお、本技術において、例えば、処理部は、運転者の視点の運動に従って撮影画像と車両を示す画像との重畳位置関係を変化させる、ようにされてもよい。これにより、実際のバックミラーを見ているのに近い運動視差を生じさせ、運転者の距離間の知覚を補助できる。
この場合、例えば、処理部は、撮影画像と車両を示す画像を三次元空間に配置し、運転者の視点の運動に従って変化する仮想視点位置を求め、その仮想視点位置で決まる視界によって撮影画像と車両を示す画像を射影座標系に変換して表示画像を得る、ようにされてもよい。これにより、運転者の視点の運動に従って撮影画像と車両を示す画像との重畳位置関係を精度よく変化させることができる。
そして、この場合、例えば、処理部は、撮影画像を、車両の後方に存在する所定のオブジェクトの位置に配置する、ようにされてもよい。例えば、所定のオブジェクトは、車両に対して最も近くにあるオブジェクト、あるいは運転者が見ているオブジェクトである、ようにされてもよい。このように撮影画像を車両の後方に存在する所定のオブジェクトの位置に配置することで、所定のオブジェクトを三次元空間の正しい位置に正しい大きさで配置でき、その所定のオブジェクトと車両を示す画像との間で起こる運動視差を正しく表現することができる。
例えば、処理部は、運転者毎に登録されている基準視点位置および基準仮想視点位置に基づいて、運転者の視点の運動に従って変化する仮想視点位置を求める、ようにされてもよい。これにより、運転者毎に、最適な表示画像を得ることが可能となる。
また、本技術において、例えば、処理部は、車両を示す画像を撮影画像が透過して見えるように、その撮影画像に重畳する、ようにされてもよい。これにより、車両を示す画像の重畳により運動視差を提供しても、後方視認性を損なわないようにできる。
実施の形態としての車両の構成物配置の一例を示す図である。 車両の車体（ボディ）、車体開口部（窓）および内装オブジェクトを示す図である。 画像処理装置の構成例を示すブロック図である。 仮想空間上の構成物配置を示す図である。 視点運動と仮想視点運動を説明するための図である。 基準視界での電子ミラーの見え方の一例を示す図である。 初期化フローの一例を示すフローチャートである。 基準視点位置の登録フローの一例を示すフローチャートである。 視点検出領域と視線検出領域の一例を示す図である。 撮影されたカメラ画像を説明するための図である。 カメラ画像の配置例を示す図である。 カメラ画像の配置の違いによるカメラ画像の見え方の変化を示す図である。 カメラ画像配置演算部の処理フローの一例を示すフローチャートである。 カメラ画像配置演算部の処理フローの他の一例を示すフローチャートである。 カメラ画像配置演算部の処理フローの他の一例を示すフローチャートである。 仮想空間上のカメラ画像配置を示す図である。 仮想空間上における描画に必要な要素の配置例を示す図である。 画像描画部で得られる表示画像の一例を示す図である。 画像処理装置における通常動作フローの一例を示すフローチャートである。 視点運動による描画オブジェクト移動の重なり具合の変化を示す図である。 描画処理のバリエーションを示す図である。 サイドミラーに関する従来技術を説明するための図である。 本技術を適用したサイドミラーを代替する電子ミラーを説明するための図である。 車両の構成物配置の一例を示す図である。 画像処理装置の構成例を示すブロック図である。 仮想空間上におけるカメラ画像の配置位置を示す図である。 仮想空間上における描画に必要な要素の配置例を示す図である。 コンピュータのハードウェアの構成例を示すブロック図である。
以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明を以下の順序で行う。
１．実施の形態
２．変形例
＜１．実施の形態＞
［車両の構成物配置］
図１は、実施の形態としての車両１０の構成物配置の一例を示している。車両１０は、車体（ボディ）１００と、車体開口部（窓）１０１と、シートなどの内装オブジェクト１０２を有している。図２（ａ）は車体（ボディ）１００を示し、図２（ｂ）のハッチング部分は車体開口部（窓）１０１を示し、図２（ｃ）はシート等の内装オブジェクト１０２を示している。
また、車両１０は、後方撮影部１０３と、後方距離計測部１０４と、視点計測部１０５と、視線計測部１０６を有している。後方撮影部１０３は、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）カメラで構成されており、車両１０のリア側外郭に後方を撮影するように取り付けられている。後方距離計測部１０４は、例えばＴｏＦ（Time of Flight）方式距離画像センサで構成されており、車両１０のリア側外郭に後方の距離画像を取得するように取り付けられている。
視点計測部１０５は、運転者（ユーザ）の視点位置を検出するものである。視点計測部１０５は、車両１０のフロント側内部に取り付けられている。視点計測部１０５は、例えば、ＣＭＯＳカメラを備えており、そのカメラの撮影画像に基づいて運転者の眼の位置を視点位置として計測する。なお、視点計測部１０５は、例えば、赤外線カメラにより撮影した画像に基づいて運転者の視点位置を計測してもよい。視線計測部１０６は、運転者の視線を検出するものである。視線計測部１０６は、車両１０のフロント側内部に取り付けられている。視線計測部１０６は、例えば、ＣＭＯＳカメラを備えており、運転者の瞳の画像に基づいて、運転者の視線、つまり運転者がどこを見ているかを検出する。
また、車両１０は、映像表示部（ディスプレイ）１０７と、ユーザ操作部１０８と、画像処理装置１０９を有している。映像表示部１０７は、従来のルームミラーの代わりに、車両１０のフロント側内部に取り付けられており、略長方形状の表示面を有している。映像表示部１０７は、ＬＣＤ（liquid crystal display）や有機ＥＬ（Electronic Luminescent）パネルなどで構成される。
ユーザ操作部１０８は、運転者による種々の操作を受け付けるユーザインタフェースを構成している。このユーザ操作部１０８は、例えば、インフロントパネルに配置される機械的な操作ボタン、さらには映像表示部１０７の画面上に配置されるタッチパネル等で構成されている。映像表示部１０７は、基本的には車両１０の後方画像を表示するものであるが、タッチパネル機能を有する場合には、必要に応じて、ユーザ操作のためのＵＩ（User Interface）表示もされる。
画像処理装置１０９は、映像表示部１０７に表示する表示画像を得るための処理をする。画像処理装置１０９は、車両１０の内部の任意の場所、例えば図示のようにインフロントパネル部分に配置される。画像処理装置１０９は、後方撮影部１０３で得られたカメラ画像に、車両１０を示す画像としての車室内画像（シート、ヘッドレスト、窓、ピラー等）を３Ｄ ＣＧで重畳合成して表示画像を得る。このように、カメラ画像だけで表示画像を構成するものではなく、そのカメラ画像に車室内画像を重畳して表示画像を得るものであることから、運動視差による距離感の提供を簡単に実現できる。
この場合、画像処理装置１０９は、視点計測部１０５で得られる運転者の視点の運動に従って撮影画像と車室内画像との重畳位置関係を変化させる。これにより、運転者に実際のルームミラーを見ているのに近い運動視差を生じさせ、運転者の距離間の知覚を補助できる。
［画像処理装置の構成］
図３は、画像処理装置１０９の構成例を示している。画像処理装置１０９は、記憶部１１１と、視錐台形状位置演算部１１２と、物体履歴記憶部１１３と、カメラ画像配置演算部１１５と、仮想空間配置演算部１１６と、射影演算部１１７と、画像描画部１１８を有している。
画像処理装置１０９は、図４に示すように、画像処理の対象となる構成物、つまり車両１０の３Ｄ ＣＧデータ（ボディ、窓、内装など）に加え、後方を撮影したカメラ画像を仮想空間上に配置し、仮想視点位置および仮想映像表示部１０７Ａに基づいて求められる視錐台を置く。そして、画像処理装置１０９は、この視錐台によって生成される画像を、必要に応じて拡大縮小の処理を施した後、映像表示部１０７に表示される表示画像として出力する。なお、仮想映像表示部１０７Ａの大きさが映像表示部１０７と同じ大きさである場合には、拡大縮小の処理は不要となる。
この場合、画像処理装置１０９は、図５に示すように、視点計測部１０５で計測された運転者の視点位置の運動を基準視点位置に対する相対運動として計測し、これに対応して仮想視点位置を基準仮想視点位置から動かすことで、仮想映像表示部１０７Ａ、従って映像表示部１０７に表示される画像（映像）を変化させ、運転者に適切な運動視差を提供する。
図３に戻って、記憶部１１１は、運転者毎の登録された基準視点位置や基準視界設定の情報、さらには車両の３Ｄ ＣＧデータを記憶する。ここで、基準視界は、基準となる後方視界であり、仮想視点位置および仮想映像表示部１０７Ａによって形成される視錐台による視界を意味する。そのため、基準視界設定の情報は、基準仮想視点位置と、仮想映像表示部１０７Ａの位置と大きさの情報である。なお、基準視界設定の情報の全てを固定とすることも考えられる。また、基準視界設定の情報のうち、仮想映像表示部１０７Ａの位置と大きさのみ固定とすることも考えられる。
基準視界として好ましい後方視界は、運転状況や個人によって異なるが、上下左右がバランスよく映り、消失点が画面中央のやや上にある視界が一般的な基準視界として考えられる。図６は、基準視界として好ましい後方視界の一例を示している。この例では、直線水平道路を走行している状態で、消失点が画面中央のやや上にある。なお、図６において、縦方向および横方向に延びる破線の交点は画面中心を表している。
画像処理装置１０９は、例えば、電源オン等の起動時に、初期化フローを実施し、運転者（ユーザ）を特定し、記憶部１１１から運転者に対応した基準視点位置や基準視界設定の情報を読み出し、その後の通常動作フローにおいて用いるようにする。運転者の特定は、例えば、ユーザ操作部１０８からの操作で行われる。なお、詳細説明は省略するが、従来周知の顔認証、指紋認証、音声認証などの認証手法などによって、運転者を自動的に特定することも考えらえる。
図７のフローチャートは、初期化フローの一例を示している。画像処理装置１０９は、ステップＳＴ１において、処理を開始する。次に、画像処理装置１０９は、ステップＳＴ２において、ユーザ、つまり運転者を特定する。次に、画像処理装置１０９は、ステップＳＴ３において、記憶部１１１から、特定された運転者の基準視界設定の情報を読み出す。次に、画像処理装置１０９は、ステップＳＴ３において、記憶部１１１から、特定された運転者の基準視点位置の情報を読み出す。そして、画像処理装置１０９は、ステップＳＴ５において初期化フローの一連の処理を終了する。
なお、記憶部１１１に基準視点位置や基準視界設定の情報が登録されていない運転者に関しては、新たに登録が可能とされる。図８のフローチャートは、基準視点位置の登録フローの一例を示している。
画像処理装置１０９は、ステップＳＴ１１において、処理を開始する。次に、画像処理装置１０９は、ステップＳＴ１２において、視点計測部１０５の検出結果に基づいて運転者の現在の視点位置を取得すると共に、視線計測部１０６の検出結果に基づいて運転者の現在の視線位置を取得する。
次に、画像処理装置１０９は、ステップＳＴ１３において、視点は視点検出領域（図９参照）内にあるか否かを判断する。視点が視点検出領域内にないとき、画像処理装置１０９は、ステップＳＴ１２の処理に戻る。一方、視点が視点検出領域内にあるとき、画像処理装置１０９は、ステップＳＴ１４において、視線は視線検出領域（図９参照）内の映像表示部１０７上にあるか否かを判断する。視線が映像表示部１０７上にないとき、画像処理装置１０９は、ステップＳＴ１２の処理に戻る。一方、視線が映像表示部１０７上にあるとき、画像処理装置１０９は、ステップＳＴ１５の処理に移る。
ステップＳＴ１５において、画像処理装置１０９は、視線は一定時間以上、ここでは１秒以上継続して映像表示部１０７上にあるか否かを判断する。視線が１秒以上継続して映像表示部１０７上にないとき、画像処理装置１０９は、ステップＳＴ１２の処理に戻る。一方、視線が１秒以上継続して映像表示部１０７上にあるとき、画像処理装置１０９は、ステップＳＴ１６において、現在の視点位置を基準視点位置として、運転者に対応付けて、記憶部１１１に登録する。その後、画像処理装置１０９は、ステップＳＴ１７において、一連の処理を終了する。
基準視界設定の登録に関しては、運転者が、ユーザ操作部１０８、例えば映像表示部１０７の画面上に配置されたタッチパネル上で操作を行って実行することができる。この場合、基準視点位置での後方視界の見え方が所望のものとなるように視界設定（仮想視点位置など）が調整され、その調整後の視界設定が基準視界設定として、運転者に対応付けて、記憶部１１１に登録される。
なお、上述では、記憶部１１１に基準視点位置や基準視界設定の情報が登録されていない運転者に関して新規登録が可能であることを示したが、既に登録がある場合であっても、同様の処理により、登録内容の更新が可能となる。
図３に戻って、視錐台形状位置演算部１１２は、記憶部１１１から読み出される基準視点位置および基準視界設定の情報と、視点計測部１０５で検出される現在の視点位置に基づいて、仮想空間上での視錐台の形状と位置を算出する。この場合、基準視点位置からの視点位置（現在の視点位置）のずれ（距離、方向のずれ）に応じて基準仮想視点位置からずらされた仮想視点位置（現在の仮想視点位置）が求められ（図５参照）、この仮想視点位置と仮想映像表示部１０７Ａの大きさおよび位置に基づいて仮想視点を頂点とする視錐台の位置と形状が求められる（図４参照）。
カメラ画像配置演算部１１５は、後方距離計測部１０４で取得される後方の距離画像、後方撮影部１０３で取得される後方のカメラ画像、視錐台形状配置演算部１１２で求められた視錐台の形状と位置などに基づいて、仮想空間上でのカメラ画像の配置距離を算出する。このカメラ画像の配置位置によって、運転者が視点位置を動かした際に、車室内画像（ボディ、窓、内装）に見え隠れするカメラ画像に映る被写体の見え方（運動視差）が異なってくる。適切な運動視差を提供するためには、仮想空間上においてカメラ画像を適切な位置に配置する必要がある。
実際にカメラで撮影された画像は、図１０に示すように、３次元空間を距離方向に圧縮したものであり、別々の距離にある物体（オブジェクト）Ａ～Ｄが２次元の画像として距離に応じた大きさで撮影されている。そのため、このカメラ画像を３次元空間上のどこに置いても完全に適切にはならず、カメラ画像を置いた距離に存在する物体についてのみ適切な位置になる。なお、実際には、カメラレンズの被写界深度から外れた画像はボヤけるが、ここでは理想的なパンフォーカスカメラとして考察している。
図１１は、物体Ａの距離にカメラ画像を置いた場合（画像配置Ａ）と、物体Ｄの距離にカメラ画像を置いた場合（画像配置Ｄ）を示している。そして、図１２（ａ），（ｂ），（ｃ）は、それぞれ、視界（仮想視点位置で決まる視錐台に対応）を右、中央、左と動かした場合の視野を示している。
図１２（ａ），（ｂ），（ｃ）を見比べると、画像配置Ａの場合と画像配置Ｄの場合で、視界に入るカメラ画像の範囲が異なり、視界の運動に伴ってカメラ画像内を動く範囲が異なる事がわかる。これが、カメラ画像内の物体に対する運動視差であり、着目したい物体（オブジェクト）の距離にカメラ画像を置くことで、その物体と車両との間で起こる運動視差を正しく表現する事ができる。
注意すべき点として、着目する物体以外の物体については、表示される大きさや、視点運動に伴って生じる運動視差が正しく表現されない事があげられる。全ての物体について正しい運動視差を提供するためには、後方を３Ｄで撮影し、全ての物体を分離して仮想空間上に配置する必要がある。しかし、そのような処理は非常に大きな計算力を必要とする。
本技術は、着目する物体以外の運動視差を諦めることで、比較的小さな計算量で、着目した物体に対する運動視差を提供することを特徴としている。
限定的な運動視差によって、有用な距離感を提示するためには、運転者に距離感を提示するのに相応しい、着目する物体を選択する必要がある。距離感を提示するのに相応しい物体を選択するにあたり、考慮すべき事象を以下に挙げる。
（１）車両と物体との距離（車両に最も近い物体。）
（２）車両と物体との距離の変化（近づいているか、遠ざかっているか。）
（３）物体の大きさ（一定以下の大きさの物体には着目する必要がない。 Ex. 昆虫）
（４）その物体が何か（車なのか、自転車なのか、人なのか、壁なのか、植物なのか。）
（５）運転者が見ているもの（運転者はどこを見ているか）
これらの全てを考慮して総合的に判断するのが理想的であるが、一部の事象のみでも有用なシステムを提供することは可能である。図１３のフローチャートは、カメラ画像配置演算部１１５の処理フローの一例を示している。この処理例は、上述の（１）、（２）、（３）の事象を考慮したものであり、後方距離計測部１０４で取得される距離画像のみを用いて実現し得るものである。
カメラ画像配置演算部１１５は、後方距離計測部１０４で距離画像を取得する毎に、図１３のフローチャートに示す処理フローを実行する。なお、後方距離計測部１０４は、例えば、１２０ｆｐｓの頻度で距離画像を取得する。
カメラ画像配置演算部１１５は、ステップＳＴ２１において、後方距離計測部１０４で距離画像を取得するタイミングで処理を開始する。次に、カメラ画像配置演算部１１５は、ステップＳＴ２２において、距離画像から物体（オブジェクト）を抽出し、一定以上の大きさの物体について、位置、形状、大きさ、距離のリストを作成する。そして、カメラ画像配置演算部１１５は、ステップＳＴ２３において、作成されたリストを物体履歴記憶部１１３に保存する。
次に、カメラ画像配置演算部１１５は、ステップＳＴ２４において、物体履歴記憶部１１３の履歴データを閲覧し、形状の特徴から、同一の物体を探索し、履歴のない物体をリストから削除し、履歴のある物体は車両との相対速度を算出してリストに追加する。
次に、カメラ画像配置演算部１１５は、ステップＳＴ２５において、作成されたリストからカメラの有効撮影距離を外れる物体を排除する。これは、カメラのフォーカスが合わない距離にある物体を外すことを意図している。距離が測定できても、カメラ画像が撮影できないのであれば、カメラ画像配置距離としては不適切なので、排除するものである。
次に、カメラ画像配置演算部１１５は、ステップＳＴ２６において、一定以上の速度で遠ざかっている物体をリストから削除する。次に、カメラ画像配置演算部１１５は、ステップＳＴ２７において、視錐台およびその近傍から外れる物体をリストから削除する。そして、カメラ画像配置演算部１１５は、ステップＳＴ２８において、リストにデータが残っているか否かを判断する。
リストにデータが残っているとき、カメラ画像配置演算部１１５は、ステップＳＴ２９において、車両から最も近い物体との距離をカメラ画像配置距離に採用する。カメラ画像配置演算部１１５は、ステップＳＴ２９の処理の後、ステップＳＴ３０において、一連の処理を終了する。
また、ステップＳＴ２８でリストにデータが残っていないとき、ステップＳＴ３１において、予め定めたデフォルト距離をカメラ画像配置距離に採用する。ここで、デフォルト距離は、遠景を配置するのに適した距離である。距離感を提示する上では計算能力が許す限り遠方が望ましい。しかし、現実的には、例えば、後方距離計測部１０４の計算能力を参考にデフォルト距離が決められる。例えば、デフォルト距離は、Ｌｉｄａｒ（light detection and ranging）では１００ｍ程、ＴｏＦセンサでは２５０ｍ程とすることが考えられる。カメラ画像配置演算部１１５は、ステップＳＴ３１の処理の後、ステップＳＴ３０において、一連の処理を終了する。
図１４のフローチャートは、カメラ画像配置演算部１１５の処理フローの他の一例を示している。この処理例は、上述の（１）、（３）、（４）の事象を考慮したものであり、後方距離計測部１０４で取得される距離画像の他に、後方撮影部１０３で得られたカメラ画像を用いて実現し得るものである。
カメラ画像配置演算部１１５は、後方距離計測部１０４で距離画像を取得する毎に、図１４のフローチャートに示す処理フローを実行する。なお、後方距離計測部１０４は、例えば、１２０ｆｐｓの頻度で距離画像を取得する。
カメラ画像配置演算部１１５は、ステップＳＴ６１において、後方距離計測部１０４で距離画像を取得するタイミングで処理を開始する。次に、カメラ画像配置演算部１１５は、ステップＳＴ６２において、距離画像から物体を抽出し、一定以上の大きさの物体について、位置、形状、大きさ、距離のリストを作成する。
次に、カメラ画像配置演算部１１５は、ステップＳＴ６３において、作成されたリストからカメラの有効撮影距離を外れる物体を排除する。これは、カメラのフォーカスが合わない距離にある物体を外すことを意図している。距離が測定できても、カメラ画像が撮影できないのであれば、カメラ画像配置距離としては不適切なので、排除するものである。
次に、カメラ画像配置演算部１１５は、ステップＳＴ６４において、画像認識により物体を認識し、画像配置に不相応な物体（例えば、鳥、枯れ葉など）をリストから削除する。次に、カメラ画像配置演算部１１５は、ステップＳＴ６５において、視錐台およびその近傍から外れる物体をリストから削除する。そして、カメラ画像配置演算部１１５は、ステップＳＴ６６において、リストにデータが残っているか否かを判断する。
リストにデータが残っているとき、カメラ画像配置演算部１１５は、ステップＳＴ６７において、車両から最も近い物体との距離をカメラ画像配置距離に採用する。カメラ画像配置演算部１１５は、ステップＳＴ６７の処理の後、ステップＳＴ６８において、一連の処理を終了する。
また、ステップＳＴ６６でリストにデータが残っていないとき、ステップＳＴ６９において、予め定めたデフォルト距離（遠景を配置するのに適した距離）をカメラ画像配置距離に採用する。カメラ画像配置演算部１１５は、ステップＳＴ６９の処理の後、ステップＳＴ６８において、一連の処理を終了する。
図１５のフローチャートは、カメラ画像配置演算部１１５の処理フローのさらに他の一例を示している。この処理例は、上述の（１）、（３）、（５）の事象を考慮したものであり、後方距離計測部１０４で取得される距離画像の他に、視線計測部１０６における運転者（ユーザ）の視線検出結果を用いて実現し得るものである。
カメラ画像配置演算部１１５は、後方距離計測部１０４で距離画像を取得する毎に、図１５のフローチャートに示す処理フローを実行する。なお、後方距離計測部１０４は、例えば、１２０ｆｐｓの頻度で距離画像を取得する。
カメラ画像配置演算部１１５は、ステップＳＴ７１において、後方距離計測部１０４で距離画像を取得するタイミングで処理を開始する。次に、カメラ画像配置演算部１１５は、ステップＳＴ７２において、距離画像から物体を抽出し、一定以上の大きさの物体について、位置、形状、大きさ、距離のリストを作成する。
次に、カメラ画像配置演算部１１５は、ステップＳＴ７３において、作成されたリストからカメラの有効撮影距離を外れる物体を排除する。そして、カメラ画像配置演算部１１５は、ステップＳＴ７４において、リストにデータが残っているか否かを判断する。
リストにデータが残っているとき、カメラ画像配置演算部１１５は、ステップＳＴ７５において、視線計測部１０６で得られる運転者（ユーザ）の視線を取得する。そして、カメラ画像配置演算部１１５は、ステップＳＴ７６において、視線に最も近い位置にある物体の距離をカメラ画像配置距離に採用する。カメラ画像配置演算部１１５は、ステップＳＴ７６の処理の後、ステップＳＴ７７において、一連の処理を終了する。
また、ステップＳＴ７４でリストにデータが残っていないとき、ステップＳＴ７８において、予め定めたデフォルト距離（遠景を配置するのに適した距離）をカメラ画像配置距離に採用する。カメラ画像配置演算部１１５は、ステップＳＴ７８の処理の後、ステップＳＴ７７において、一連の処理を終了する。
図１６は、仮想空間上におけるカメラ画像の配置位置を示している。カメラ画像は後方撮影部１０３により所定の撮影画角で撮影されて得られたものである。このカメラ画像は、仮想空間上において、車両１０の後部から、カメラ画像配置演算部１１５で算出されたカメラ画像配置距離だけ離れた位置に配置される。
図３に戻って、仮想空間配置演算部１１６は、仮想空間上に描画に必要な要素を配置する。すなわち、仮想空間配置演算部１１６は、仮想空間上に、記憶部１１１に記憶されている車両１０の３Ｄ ＣＧデータ（ボディ、窓、内装など）を配置すると共に、カメラ画像配置演算部１１５で算出されたカメラ画像配置距離の位置にカメラ画像を配置し、さらに、視錐台形状配置演算部１１２で算出された形状と位置に基づいて視錐台を配置する。図１７は、仮想空間上における描画に必要な要素の配置例を示している。
射影演算部１１７は、仮想映像表示部１０７Ａを射影面として、仮想空間上のオブジェクトを射影画像に変換する。画像描画部１１８は、射影演算部１１７で得られた射影画像にカメラ画像および３Ｄ ＣＧデータのディテールを描画する処理、さらには画像の大きさを映像表示部１０７の大きさに合わせるための拡大縮小の処理を施し、映像表示部１０７に供給する表示画像を出力する。図１８は、画像描画部１１８で得られる表示画像の一例を示している。
図１９のフローチャートは、画像処理装置１０９における通常動作フローの一例を示している。画像処理装置１０９は、ステップＳＴ４１において、処理を開始する。次に、画像処理装置１０９は、ステップＳＴ４２において、視点計測部１０５の検出結果に基づいて現在の視点位置を取得する。
次に、画像処理装置１０９は、ステップＳＴ４３において、基準視点位置と現在の視点位置との差分を基準仮想視点位置からの仮想視点の差分に変換して仮想視点位置を算出する（図５参照）。次に、画像処理装置１０９は、ステップＳＴ４４において、仮想視点位置から視錐台の形状と位置を算出する。
次に、画像処理装置１０９は、ステップＳＴ４５において、後方撮影部１０３で得られる後方のカメラ画像を取得する。次に、画像処理装置１０９は、ステップＳＴ４６において、カメラ画像配置距離を算出する。
次に、画像処理装置１０９は、ステップＳＴ４７において、仮想空間上に、描画に必要な要素である、車両１０の３Ｄ ＣＧデータ（ボディ、窓、内装など）、カメラ画像、視錐台を配置する（図１７参照）。次に、画像処理装置１０９は、ステップＳＴ４８において、仮想空間上の構成物を射影座標系に変換して射影画像を得る。
次に、画像処理装置１０９は、ステップＳＴ４９において、射影画像にカメラ画像および３Ｄ ＣＧデータのディテールを描画する処理を行って表示画像を得る。次に、画像処理装置１０９は、ステップＳＴ５０において、表示画像を映像表示部１０７に出力する。画像処理装置１０９は、ステップＳＴ５０の処理の後、ステップＳＴ４２の処理に戻り、上述したと同様の処理を繰り返す。
画像処理装置１０９は、上述の通常動作フローの処理を、映像表示部１０７の更新頻度、例えば１２０ｆｐｓに同期して連続して行う。これにより、映像表示部１０７に表示される表示画像は、視点の運動と、着目する後方物体との距離によって、描画対象オブジェクトの重なり具合が適切に変化し、つまり適切な運動視差が得られ、運転者（ユーザ）は、後方のカメラ画像に対して適切な距離感を得ることができる。
図２０（ａ），（ｂ），（ｃ）は映像表示部１０７に表示される表示画像の一例を示している。図２０（ａ）は運転者の視点位置が標準視点位置にある場合を示しており、図２０（ｂ）は運転者の視点位置が標準視点位置から右に移動した場合を示しており、さらに、図２０（ｃ）は運転者の視点位置が標準視点位置から左に移動した場合を示している。運転者の視点位置に応じて、車室内ＣＧ画像とカメラ画像内のオブジェクト（自動車）との重なり具合が変化していることが分かる。
なお、内装オブジェクトや車体は、実ミラーであれば後方が見えない死角を作ってしまうが、本技術では、描画の際に透過して描画したり、或いは一部を非表示にしたりすることで、運動視差によって距離感の知覚を補助しつつ、後方視界を広く保つことも可能である。例えば、図２１（ａ）は、内装オブジェクトとしての後部シートを非表示としたものである。また、図２１（ｂ）は、車体および内装オブジェクトとしての後部シートを低透過率としたものであり、図２１（ｃ）は、車体および内装オブジェクトとしての後部シートを高透過率としたものである。
勿論、死角の発生を気にしなければ、内装オブジェクトや車体を透過率０％で描画し、実ミラーのような画像を生成して表示してもよい。
また、内装オブジェクトは、シート等に限らず、例えば窓ガラス上に絵柄を描くことで、より距離知覚を強調することもできる。図２１（ｄ）は、窓ガラス上のオブジェクトとして水平ラインを設けたものである。
上述したように、図１に示す車両１０においては、図３に示す画像処理装置１０９により、車両１０の後方を撮影して得られたカメラ画像に車室内画像を重畳して、従来のルームミラーの代わりに配される映像表示部１０７に表示する表示画像を得るものである。車両１０の後方を撮影して得られたカメラ画像だけで表示画像を構成するものではなく、そのカメラ画像に車室内画像を重畳して表示画像を得るものであることから、運動視差による距離感の提供を簡単に実現できる。
また、図１に示す車両１０においては、図３に示す画像処理装置１０９により、運転者の視点の運動に従ってカメラ画像と車室内画像との重畳位置関係を変化させるものである。そのため、実際のバックミラーを見ているのに近い運動視差を生じさせ、運転者の距離間の知覚を補助できる。
また、図１に示す車両１０においては、図３に示す画像処理装置１０９により、カメラ画像と車両を示す画像を三次元空間に配置し、運転者の視点の運動に従って変化する仮想視点位置を求め、その仮想視点位置で決まる視界によってカメラ画像と車室内画像を射影座標系に変換して表示画像を得るものである。そのため、運転者の視点の運動に従ってカメラ画像と車室内画像との重畳位置関係を精度よく変化させることができる。
また、図１に示す車両１０においては、図３に示す画像処理装置１０９により、カメラ画像を、車両１０の後方に存在する着目する物体（オブジェクト）の位置に配置して、表示画像を得るものである。そのため、着目する物体を三次元空間の正しい位置に正しい大きさで配置でき、その物体と車室内画像との間で起こる運動視差を正しく表現することができる。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
車両用の電子ミラーは、荷物の積載などにも影響を受けず、実際のミラーと比較しても死角が少ない後方視界を提供できる利点がある。しかしながら、電子ミラーには距離感が直感的に知覚しづらいという問題がある。人が距離を知覚するための重要な要素に、両眼視差、輻輳角、調節、運動視差がある。
このうち運動視差は、距離の異なる二つ以上の物体が、視点の運動に伴って見え隠れする現象であり、上述の特許文献１に記載される技術のようにカメラ画像の表示箇所を運動させただけでは、見え隠れの変化が乏しく運動視差による距離感の提示効果は非常に薄いと考えられる。本技術では、後方カメラ画像に、車室内のオブジェクトを重畳描画し、それらに運動視差を加えることで、積極的に運動視差による距離感の提供を行い、直感的で運転者（ユーザ）に馴染みやすい電子ミラーを提供できる。
＜２．変形例＞
なお、上述実施の形態においては、車両のルームミラーを代替する電子ミラーに本技術を適用した例を示したが、本技術は、車両のサイドミラーを代替する電子ミラーにも適用できる。また、車両用の電子ミラーのみならず、一人で使用することが前提の電子ミラーであれば、本技術を適用することで、実際のミラーに近い距離感の提示を行うことができる。同様に、一人で使用することが前提であれば、電子ミラーではなく、電子窓にも本技術を適用できる。
本技術を、車両のサイドミラーを代替する電子ミラーに適用する場合について説明する。図２２（ａ）は、従来のサイドミラーあるいは従来のサイドミラーを代替する電子ミラーを使用した場合における死角の範囲の一例を示している。図２２（ｂ）は、従来のサイドミラーに映る画像の一例を示している。この場合、後方物体の大きさの違いや、映り込む車体との運動視差によって、後方物体の距離感を得ることができる。図２２（ｃ）は、従来のサイドミラーを代替する電子ミラーの表示画像の一例を示している。この場合、視点が運動しても運動視差が生じないため、実ミラーとは異なって、距離感をうることが困難であった。
図２３（ａ）は、本技術を適用したサイドミラーを代替する電子ミラーを使用した場合における死角の範囲の一例を示している。従来のサイドミラーあるいは従来のサイドミラーを代替する電子ミラーで死角となる自車の背後に関しても、運転者は視認することが可能となる。図２３（ｂ），（ｃ）は、本技術を適用したサイドミラーを代替する電子ミラーの表示画像の一例を示している。この場合、自車体が３Ｄ ＣＧで重畳描画されることから、運動視差による距離感を提供できる。また、図２３（ｃ）に示すように、自車体を透過的に重畳することで、自車の背後も視認することが可能となる。
図２４は、車両１０の構成物配置の一例を示している。この図２４において、図１と対応する部分には同一符号を付し、適宜、その詳細説明は省略する。車両１０は、車体（ボディ）１００と、車体開口部（窓）１０１と、シートなどの内装オブジェクト１０２を有している。また、車両１０は、後方撮影部１０３と、後方距離計測部１０４と、視点計測部１０５と、視線計測部１０６を有している。
また、車両１０は、右側後方撮影部１０３Ｒと、右側後方距離計測部１０４Ｒと、左側後方撮影部１０３Ｌと、左側後方距離計測部１０４Ｌを有している。右側後方撮影部１０３Ｒおよび左側後方撮影部１０３Ｌは、それぞれ、例えばＣＭＯＳカメラで構成されており、車両１０の例えば従来のサイドミラー位置に後方を撮影するように取り付けられている。また、右側後方距離計測部１０４Ｒおよび左側後方距離計測部１０４Ｌは、それぞれ、例えばＴｏＦ方式距離画像センサで構成されており、車両１０の例えば従来のサイドミラー位置に後方の距離画像を取得するように取り付けられている。
また、車両１０は、右側後方映像表示部（ディスプレイ）１０７Ｒと、左側後方映像表示部（ディスプレイ）１０７Ｌと、ユーザ操作部１０８と、画像処理装置１０９Ｓを有している。右側後方映像表示部１０７Ｒおよび左側後方映像表示部１０７Ｌは、それぞれ、ＬＣＤや有機ＥＬパネルなどで構成され、車両１０のフロント側内部の右側および左側の位置に取り付けられており、略長方形状の表示面を有している。
ユーザ操作部１０８は、運転者による種々の操作を受け付けるユーザインタフェースを構成している。このユーザ操作部１０８は、例えば、インフロントパネルに配置される機械的な操作ボタン、さらには右側後方映像表示部１０７Ｒや左側後方映像表示部１０７Ｌの画面上に配置されるタッチパネル等で構成されている。
画像処理装置１０９Ｓは、右側後方映像表示部１０７Ｒや左側後方映像表示部１０７Ｌに表示する表示画像を得るための処理をする。画像処理装置１０９Ｓは、車両１０の内部の任意の場所、例えば図示のようにインフロントパネル部分に配置される。画像処理装置１０９Ｓは、後方撮影部１０３、右側後方撮影部１０３Ｒおよび左側後方撮影部１０３Ｌで撮影して得られるカメラ画像に、車両１０を示す画像としての車体（ボディ）を３Ｄ ＣＧで重畳合成して、表示画像を得る。
このように、カメラ画像だけで表示画像を構成するものではなく、そのカメラ画像に車体画像を重畳して表示画像を得るものであることから、運動視差による距離感の提供を簡単に実現できる。また、車体画像を透過的に重畳することで、運転者（ユーザ）は自車の背後に隠れて見えない物体も視認することが可能となる。
図２５は、画像処理装置１０９Ｓの構成例を示している。この図２５において、図３と対応する部分には同一符号を付し、適宜、その詳細説明は省略する。画像処理装置１０９Ｓは、記憶部１１１と、視錐台形状位置演算部１１２と、物体履歴記憶部１１３と、カメラ画像配置演算部１１５と、仮想空間配置演算部１１６と、射影演算部（右）１１７Ｒと、射影演算部（左）１１７Ｌと、画像描画部（右）１１８Ｒと、画像描画部（左）１１８Ｌを有している。
画像処理装置１０９Ｓは、画像処理の対象となる構成物、つまり車両１０の３Ｄ ＣＧデータ（ボディなど）に加え、後方を撮影したカメラ画像を仮想空間上に配置する。そして、画像処理装置１０９Ｓは、右側後方表示に係る仮想視点位置および仮想映像表示部に基づいて視錐台を求め、この視錐台によって生成される画像を、必要に応じて拡大縮小の処理を施した後、右後方映像表示部１０７Ｒに表示される右後方表示画像として出力する。
また、同様に、画像処理装置１０９Ｓは、左側後方表示に係る仮想視点位置および仮想映像表示部に基づいて視錐台を求め、この視錐台によって生成される画像を、必要に応じて拡大縮小の処理を施した後、左後方映像表示部１０７Ｌに表示される左後方表示画像として出力する。
この場合、画像処理装置１０９Ｓは、視点計測部１０５で計測された運転者の視点位置の運動を基準視点位置に対する相対運動として計測し、これに対応して仮想視点位置を基準仮想視点位置から動かすことで、右側後方映像表示部１０７Ｒおよび左側後方映像表示部１０７Ｌに表示される画像（映像）を変化させ、運転者に適切な運動視差を提供する。
記憶部１１１は、運転者毎の登録された基準視点位置や右側後方表示および左側後方表示に係る基準視界設定の情報、さらには車両の３Ｄ ＣＧデータを記憶する。視錐台形状位置演算部１１２は、記憶部１１１から読み出される基準視点位置や基準視界設定の情報と、視点計測部１０５で検出される現在の視点位置に基づいて、仮想空間上での、右側後方表示用および左側後方表示用の２つの視錐台の形状と位置を算出する。
カメラ画像配置演算部１１５は、右側後方距離計測部１０４Ｒ、後方距離計測部１０４および左側後方距離計測部１０４Ｌで取得される後方の距離画像、右側後方撮影部１０３Ｒ、後方撮影部１０３および左側後方撮影部１０３Ｌで取得される後方のカメラ画像、視錐台形状配置演算部１１２で求められる右側後方表示用および左側後方表示用の２つの視錐台の形状と位置などに基づいて、仮想空間上でのカメラ画像の配置距離を算出する。
このカメラ画像の配置位置によって、運転者が視点位置を動かした際に、車体（ボディ）に見え隠れするカメラ画像に映る被写体の見え方（運動視差）が異なってくる。この場合、着目する物体に対して適切な運動視差を提供できるように、当該物体までの距離が配置距離として算出される。ここで、右側後方表示用および左側後方表示用で着目する物体が異なる場合も想定される。その場合には、右側後方表示用および左側後方表示用でカメラ画像の配置距離が異なる値に算出される。
図２６は、仮想空間上におけるカメラ画像の配置位置を示している。カメラ画像は、右側後方撮影部１０３Ｒ、後方撮影部１０３および左側後方撮影部１０３Ｌにより所定の撮影画角で撮影されて得られたものである。このカメラ画像は、仮想空間上において、車両１０の後部からカメラ画像配置演算部１１５で算出されたカメラ画像配置距離だけ離れた位置に配置される。
仮想空間配置演算部１１６は、仮想空間上に描画に必要な要素を配置する。すなわち、仮想空間配置演算部１１６は、仮想空間上に、記憶部１１１に記憶されている車両１０の３Ｄ ＣＧデータ（ボディなど）を配置すると共に、カメラ画像配置演算部１１５で算出されたカメラ画像配置距離の位置にカメラ画像を配置し、さらに、視錐台形状配置演算部１１２で算出された形状と位置に基づいて、右側後方表示用および左側後方表示用の２つの視錐台を配置する。図２７は、仮想空間上における描画に必要な要素の配置例を示している。
図２５に戻って、射影演算部（右）１１７Ｒは、右側の仮想映像表示部１０７Ａを射影面として、仮想空間上のオブジェクトを射影画像に変換する。画像描画部（右）１１８Ｒは、射影演算部１１７Ｒで得られた射影画像にカメラ画像および３Ｄ ＣＧデータのディテールを描画する処理、さらには画像の大きさを右側後方映像表示部１０７Ｒの大きさに合わせるための拡大縮小の処理を施し、右側後方映像表示部１０７Ｒに供給する表示画像を出力する。
また、射影演算部（左）１１７Ｌは、左側の仮想映像表示部１０７Ａを射影面として、仮想空間上のオブジェクトを射影画像に変換する。画像描画部（左）１１８Ｌは、射影演算部１１７Ｌで得られた射影画像にカメラ画像および３Ｄ ＣＧデータのディテールを描画する処理、さらには画像の大きさを左側後方映像表示部１０７Ｌの大きさに合わせるための拡大縮小の処理を施し、左側後方映像表示部１０７Ｌに供給する表示画像を出力する。
画像処理装置１０９Ｓにおける基本的な処理フローは、左右の表示部用に別々に処理されることを除き、上述の実施の形態における画像処理装置１０９の処理フローと同様となるので、ここではその説明を省略する。
なお、上述の画像処理装置１０９、１０９Ｓにおける一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図２８は、上述の一連の処理をプログラムにより実行するコンピュータ４００のハードウェアの構成例を示すブロック図である。
コンピュータ４００において、ＣＰＵ（Central Processing Unit）４０１、ＲＯＭ（Read Only Memory）４０２、ＲＡＭ（Random Access Memory）４０３は、バス４０４により相互に接続されている。
バス４０４には、さらに、入出力インターフェース４０５が接続されている。入出力インターフェース４０５には、入力部４０６、出力部４０７、記録部４０８、通信部４０９およびドライブ４１０が接続されている。
入力部４０６は、入力スイッチ、ボタン、マイクロフォン、撮像素子などよりなる。出力部４０７は、ディスプレイ、スピーカなどよりなる。記録部４０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部４０９は、ネットワークインターフェースなどよりなる。ドライブ４１０は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア４１１を駆動する。
以上のように構成されるコンピュータ４００では、ＣＰＵ４０１が、例えば、記録部４０８に記録されているプログラムを、入出力インターフェース４０５およびバス４０４を介して、ＲＡＭ４０３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ４００（ＣＰＵ４０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア４１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータでは、プログラムは、リムーバブルメディア４１１をドライブ４１０に装着することにより、入出力インターフェース４０５を介して、記録部４０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部４０９で受信し、記録部４０８にインストールすることができる。その他、プログラムは、ＲＯＭ４０２や記録部４０８に予めインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本技術は、以下のような構成もとることができる。
（１）車両の後方を撮影して得られた撮影画像に上記車両を示す画像を重畳して表示画像を得る処理部を備える
画像処理装置。
（２）上記車両を示す画像は、コンピュータグラフィックス画像である
前記（１）に記載の画像処理装置。
（３）上記車両の後方を撮影して得られた撮影画像は、上記車両の後部に取り付けられた撮影装置で撮影された撮影画像であり、
上記車両を示す画像は、車室内画像である
前記（１）または（２）に記載の画像処理装置。
（４）上記車両の後方を撮影して得られた撮影画像は、上記車両の側部に取り付けられた撮影装置で撮影された撮影画像を含み、
上記車両を示す画像は、車体画像である
前記（１）または（２）に記載の画像処理装置。
（５）上記処理部は、運転者の視点の運動に従って上記撮影画像と上記車両を示す画像との重畳位置関係を変化させる
前記（１）から（４）のいずれかに記載の画像処理装置。
（６）上記処理部は、
上記撮影画像と上記車両を示す画像を三次元空間に配置し、
上記運転者の視点の運動に従って変化する仮想視点位置を求め、該仮想視点位置で決まる視界によって上記撮影画像と上記車両を示す画像を射影座標系に変換して上記表示画像を得る
前記（５）に記載の画像処理装置。
（７）上記処理部は、上記撮影画像を、上記車両の後方に存在する所定のオブジェクトの位置に配置する
前記（６）に記載の画像処理装置。
（８）上記所定のオブジェクトは、上記車両に対して最も近くにあるオブジェクトである
前記（７）に記載の画像処理装置。
（９）上記所定のオブジェクトは、上記運転者が見ているオブジェクトである
前記（７）に記載の画像処理装置。
（１０）上記処理部は、運転者毎に登録されている基準視点位置および基準仮想視点位置に基づいて、上記運転者の視点の運動に従って変化する仮想視点位置を求める
前記（６）から（９）のいずれかに記載の画像処理装置。
（１１）上記処理部は、上記車両を示す画像を上記撮影画像が透過して見えるように、該撮影画像に重畳する
前記（１）から（１０）のいずれかに記載の画像処理装置。
（１２）車両の後方を撮影して得られた撮影画像に上記車両を示す画像を重畳して表示画像を得る手順を有する
画像処理方法。
（１３）車両の後方を撮影する撮影装置と、
上記撮影装置で撮影して得られた撮影画像に上記車両を示す画像を重畳して表示画像を得る処理部と、
上記処理部で得られた表示画像を表示する表示装置を備える
画像処理システム。
（１４）コンピュータを、
車両の後方を撮影して得られた撮影画像に上記車両を示す画像を重畳して表示画像を得る処理手段として機能させる
プログラム。
１０・・・・車両
１００・・・車体（ボディ）
１０１・・・車体開口部（窓）
１０２・・・内装オブジェクト
１０３・・・後方撮影部
１０３Ｒ・・・右側後方撮影部
１０３Ｌ・・・左側後方撮影部
１０４・・・後方距離計測部
１０４Ｒ・・・右側後方距離計測部
１０４Ｌ・・・左側後方距離計測部
１０５・・・視点計測部
１０６・・・視線計測部
１０７・・・映像表示部
１０７Ａ・・・仮想映像表示部
１０７Ｒ・・・右側後方映像表示部
１０７Ｌ・・・左側後方映像表示部
１０８・・・ユーザ操作部
１０９，１０９Ｓ・・・画像処理装置
１１１・・・記憶部
１１２・・・視錐台形状配置演算部
１１３・・・物体履歴記憶部
１１５・・・カメラ画像配置演算部
１１６・・・仮想空間配置演算部
１１７・・・射影演算部
１１７Ｒ・・・射影演算部（右）
１１７Ｌ・・・射影演算部（左）
１１８・・・画像描画部
１１８Ｒ・・・画像描画部（右）
１１８Ｌ・・・画像描画部（左）

Claims (11)

  1. 車両の後方を撮影して得られた撮影画像に上記車両を示す画像を重畳して表示画像を得る処理部を備え、
    上記処理部は、上記撮影画像と上記車両を示す画像を三次元空間に配置し、上記表示画像を表示する映像表示装置の３次元空間内の位置と運転者の視点位置に基づいて、上記映像表示装置の位置に対して上記運転者の視点位置の反対側に、上記運転者の視点の運動に従って変化する仮想視点位置を設け、該仮想視点位置で決まる視界によって、上記車両の後方の所定位置に配置した上記撮影画像と上記車両を示す画像を射影座標系に変換して上記表示画像を得ることで、運転者の視点の運動に従って上記撮影画像と上記車両を示す画像との重畳位置関係を変化させる
    画像処理装置。
  2. 上記処理部は、上記仮想視点位置と、上記映像表示装置の３次元空間内の位置に基づいて、上記視界を決定し、上記表示画像を生成する
    請求項１に記載の画像処理装置。
  3. 上記車両を示す画像は、コンピュータグラフィックス画像である
    請求項１に記載の画像処理装置。
  4. 上記車両の後方を撮影して得られた撮影画像は、上記車両の後部に取り付けられた撮影装置で撮影された撮影画像であり、
    上記車両を示す画像は、車室内画像である
    請求項１に記載の画像処理装置。
  5. 上記車両の後方を撮影して得られた撮影画像は、上記車両の側部に取り付けられた撮影装置で撮影された撮影画像を含み、
    上記車両を示す画像は、車体画像である
    請求項１に記載の画像処理装置。
  6. 上記処理部は、上記車両の後方の所定位置を、上記車両の後方の距離情報に基づき、上記車両の後方に存在する所定のオブジェクトの位置に決定し、
    上記所定のオブジェクトは、上記車両に対して最も近くにあるオブジェクトである
    請求項１に記載の画像処理装置。
  7. 上記処理部は、上記車両の後方の所定位置を、上記車両の後方の距離情報に基づき、上記車両の後方に存在する所定のオブジェクトの位置に決定し、
    上記所定のオブジェクトは、上記運転者に表示される前記表示画像中のオブジェクトである
    請求項１に記載の画像処理装置。
  8. 上記処理部は、運転者毎に登録されている基準視点位置および基準仮想視点位置に基づいて、上記運転者の視点の運動に従って変化する仮想視点位置を求める
    請求項１に記載の画像処理装置。
  9. 上記処理部は、上記車両を示す画像を、上記撮影画像が透過して見えるように、上記撮影画像に重畳する
    請求項１に記載の画像処理装置。
  10. 車両の後方を撮影して得られた撮影画像に上記車両を示す画像を重畳して表示画像を得る処理手順を有し、
    上記処理手順では、上記撮影画像と上記車両を示す画像を三次元空間に配置し、上記表示画像を表示する映像表示装置の３次元空間内の位置と運転者の視点位置に基づいて、上記映像表示装置の位置に対して上記運転者の視点位置の反対側に、上記運転者の視点の運動に従って変化する仮想視点位置を設け、該仮想視点位置で決まる視界によって、上記車両の後方の所定位置に配置した上記撮影画像と上記車両を示す画像を射影座標系に変換して上記表示画像を得ることで、運転者の視点の運動に従って上記撮影画像と上記車両を示す画像との重畳位置関係を変化させる
    画像処理方法。
  11. 車両の後方を撮影する撮影装置と、
    上記撮影装置で撮影して得られた撮影画像に上記車両を示す画像を重畳して表示画像を得る処理部と、
    上記処理部で得られた表示画像を表示する映像表示装置を備え、
    上記処理部は、上記撮影画像と上記車両を示す画像を三次元空間に配置し、上記表示画像を表示する上記映像表示装置の３次元空間内の位置と運転者の視点位置に基づいて、上記映像表示装置の位置に対して上記運転者の視点位置の反対側に、上記運転者の視点の運動に従って変化する仮想視点位置を設け、該仮想視点位置で決まる視界によって、上記車両の後方の所定位置に配置した上記撮影画像と上記車両を示す画像を射影座標系に変換して上記表示画像を得ることで、運転者の視点の運動に従って上記撮影画像と上記車両を示す画像との重畳位置関係を変化させる
    画像処理システム。
JP2020559260A 2018-12-11 2019-12-10 画像処理装置、画像処理方法および画像処理システム Active JP7494735B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018232045 2018-12-11
JP2018232045 2018-12-11
PCT/JP2019/048353 WO2020122079A1 (ja) 2018-12-11 2019-12-10 画像処理装置、画像処理方法および画像処理システム

Publications (2)

Publication Number Publication Date
JPWO2020122079A1 JPWO2020122079A1 (ja) 2021-10-21
JP7494735B2 true JP7494735B2 (ja) 2024-06-04

Family

ID=71077295

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020559260A Active JP7494735B2 (ja) 2018-12-11 2019-12-10 画像処理装置、画像処理方法および画像処理システム

Country Status (6)

Country Link
US (3) US11603043B2 (ja)
EP (1) EP3896961B1 (ja)
JP (1) JP7494735B2 (ja)
KR (1) KR20210100609A (ja)
CN (1) CN113170081A (ja)
WO (1) WO2020122079A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020122085A1 (ja) * 2018-12-11 2020-06-18 ソニー株式会社 画像処理装置、画像処理方法および画像処理システム
US20230026519A1 (en) * 2021-07-22 2023-01-26 Continental Automotive Systems, Inc. Vehicle mirror image simulation

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002135765A (ja) 1998-07-31 2002-05-10 Matsushita Electric Ind Co Ltd カメラキャリブレーション指示装置及びカメラキャリブレーション装置
JP2004287845A (ja) 2003-03-20 2004-10-14 Aisin Seiki Co Ltd 車両運転者の視線検出装置
JP2005269010A (ja) 2004-03-17 2005-09-29 Olympus Corp 画像生成装置、画像生成プログラム、及び画像生成方法
JP2009100180A (ja) 2007-10-16 2009-05-07 Denso Corp 車両後方監視装置
JP2012226665A (ja) 2011-04-21 2012-11-15 Canon Inc 情報処理装置、その処理方法、プログラム及び撮像装置
JP2014198531A (ja) 2013-03-29 2014-10-23 アイシン精機株式会社 画像表示制御装置、画像表示システム、および表示ユニット
JP2017111739A (ja) 2015-12-18 2017-06-22 株式会社デンソー 運転支援装置、運転支援方法
JP2017196911A (ja) 2016-04-25 2017-11-02 本田技研工業株式会社 画像表示装置
JP2018191242A (ja) 2017-05-11 2018-11-29 アイシン精機株式会社 周辺監視装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006119843A (ja) * 2004-10-20 2006-05-11 Olympus Corp 画像生成方法およびその装置
US8179435B2 (en) * 2005-09-28 2012-05-15 Nissan Motor Co., Ltd. Vehicle surroundings image providing system and method
JP5088669B2 (ja) 2007-03-23 2012-12-05 株式会社デンソー 車両周辺監視装置
EP1974998B1 (en) 2007-03-26 2011-05-25 Aisin AW Co., Ltd. Driving support method and driving support apparatus
DE112008003729T5 (de) * 2008-02-26 2011-01-13 FUJITSU LIMITED, Kawasaki-shi Bildprozessor, Bildverfahren, Bildprogramm sowie Fahrzeugterminal hierfür
JP5630518B2 (ja) * 2012-03-14 2014-11-26 株式会社デンソー 運転支援装置
JP5874920B2 (ja) 2012-04-12 2016-03-02 スズキ株式会社 車両周囲確認用モニター装置
US20140114534A1 (en) * 2012-10-19 2014-04-24 GM Global Technology Operations LLC Dynamic rearview mirror display features
TWI531495B (zh) * 2012-12-11 2016-05-01 Automatic Calibration Method and System for Vehicle Display System
WO2014130049A1 (en) 2013-02-25 2014-08-28 Johnson Controls Technology Company Systems and methods for augmented rear-view displays
JP6446925B2 (ja) * 2014-09-05 2019-01-09 アイシン精機株式会社 画像表示制御装置および画像表示システム
US10503989B2 (en) * 2015-09-28 2019-12-10 Kyocera Corporation Image processing apparatus, imaging apparatus, camera monitor system, and image processing method
JP6493361B2 (ja) * 2016-04-01 2019-04-03 株式会社デンソー 車両用装置、車両用プログラム、フィルタ設計プログラム
JP7010221B2 (ja) 2016-07-13 2022-01-26 ソニーグループ株式会社 画像生成装置、画像生成方法、及び、プログラム
JP2018110328A (ja) * 2017-01-04 2018-07-12 株式会社デンソーテン 画像処理装置および画像処理方法
JP6649914B2 (ja) * 2017-04-20 2020-02-19 株式会社Ｓｕｂａｒｕ 画像表示装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002135765A (ja) 1998-07-31 2002-05-10 Matsushita Electric Ind Co Ltd カメラキャリブレーション指示装置及びカメラキャリブレーション装置
JP2004287845A (ja) 2003-03-20 2004-10-14 Aisin Seiki Co Ltd 車両運転者の視線検出装置
JP2005269010A (ja) 2004-03-17 2005-09-29 Olympus Corp 画像生成装置、画像生成プログラム、及び画像生成方法
JP2009100180A (ja) 2007-10-16 2009-05-07 Denso Corp 車両後方監視装置
JP2012226665A (ja) 2011-04-21 2012-11-15 Canon Inc 情報処理装置、その処理方法、プログラム及び撮像装置
JP2014198531A (ja) 2013-03-29 2014-10-23 アイシン精機株式会社 画像表示制御装置、画像表示システム、および表示ユニット
JP2017111739A (ja) 2015-12-18 2017-06-22 株式会社デンソー 運転支援装置、運転支援方法
JP2017196911A (ja) 2016-04-25 2017-11-02 本田技研工業株式会社 画像表示装置
JP2018191242A (ja) 2017-05-11 2018-11-29 アイシン精機株式会社 周辺監視装置

Also Published As

Publication number Publication date
US20230191994A1 (en) 2023-06-22
US11603043B2 (en) 2023-03-14
US20240017669A1 (en) 2024-01-18
US20220041107A1 (en) 2022-02-10
CN113170081A (zh) 2021-07-23
KR20210100609A (ko) 2021-08-17
EP3896961B1 (en) 2024-06-26
EP3896961A1 (en) 2021-10-20
WO2020122079A1 (ja) 2020-06-18
EP3896961A4 (en) 2022-01-19
US11813988B2 (en) 2023-11-14
JPWO2020122079A1 (ja) 2021-10-21

Similar Documents

Publication Publication Date Title
JP6134478B2 (ja) 情報処理装置、表示制御方法、プログラムおよび記憶媒体
US20150109444A1 (en) Vision-based object sensing and highlighting in vehicle image display systems
US20150042799A1 (en) Object highlighting and sensing in vehicle image display systems
CN103770706A (zh) 动态后视镜显示特征
US11813988B2 (en) Image processing apparatus, image processing method, and image processing system
JP7428139B2 (ja) 画像処理装置、画像処理方法および画像処理システム
JP7444073B2 (ja) 画像処理装置、画像処理方法および画像処理システム
JP7484722B2 (ja) 画像処理装置、画像処理方法および画像処理システム
KR101278654B1 (ko) 차량의 주변 영상 디스플레이 장치 및 방법
JP6890288B2 (ja) 画像処理装置、画像表示システムおよび画像処理方法
TW201605247A (zh) 影像處理系統及方法
JP2017199958A (ja) 撮像装置、その制御方法、および制御プログラム
JP2011254190A (ja) 車両用周囲監視装置
JP2016181004A (ja) 情報処理装置、表示制御方法、プログラムおよび記憶媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221017

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230711

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230907

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231010

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240401

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240423

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240506

R150 Certificate of patent or registration of utility model

Ref document number: 7494735

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150