JPWO2020122085A1 - 画像処理装置、画像処理方法および画像処理システム - Google Patents
画像処理装置、画像処理方法および画像処理システム Download PDFInfo
- Publication number
- JPWO2020122085A1 JPWO2020122085A1 JP2020559264A JP2020559264A JPWO2020122085A1 JP WO2020122085 A1 JPWO2020122085 A1 JP WO2020122085A1 JP 2020559264 A JP2020559264 A JP 2020559264A JP 2020559264 A JP2020559264 A JP 2020559264A JP WO2020122085 A1 JPWO2020122085 A1 JP WO2020122085A1
- Authority
- JP
- Japan
- Prior art keywords
- image
- driver
- vehicle
- unit
- viewpoint position
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims description 192
- 238000003672 processing method Methods 0.000 title claims description 4
- 230000033001 locomotion Effects 0.000 claims abstract description 65
- 230000007774 longterm Effects 0.000 claims abstract description 27
- 238000000034 method Methods 0.000 claims description 36
- 238000005259 measurement Methods 0.000 description 39
- 230000008569 process Effects 0.000 description 28
- 230000008859 change Effects 0.000 description 27
- 238000001514 detection method Methods 0.000 description 26
- 238000005516 engineering process Methods 0.000 description 21
- 230000008447 perception Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000011946 reduction process Methods 0.000 description 3
- 238000002834 transmittance Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 239000005357 flat glass Substances 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 241000238631 Hexapoda Species 0.000 description 1
- 241001237160 Kallima inachus Species 0.000 description 1
- 230000002730 additional effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000005111 flow chemistry technique Methods 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/006—Side-view mirrors, e.g. V-shaped mirrors located at the front or rear part of the vehicle
- B60R1/007—Side-view mirrors, e.g. V-shaped mirrors located at the front or rear part of the vehicle specially adapted for covering the lateral blind spot not covered by the usual rear-view mirror
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
- H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/02—Rear-view mirror arrangements
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/31—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing stereoscopic vision
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/361—Reproducing mixed stereoscopic images; Reproducing mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/363—Image reproducers using image projection screens
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
- H04N21/41422—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance located in transportation means, e.g. personal vehicle
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/4223—Cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44213—Monitoring of end-user related data
- H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
- B60R2001/1253—Mirror assemblies combined with other articles, e.g. clocks with cameras, video cameras or video screens
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
- B60R2300/202—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used displaying a blind spot scene on the vehicle part responsible for the blind spot
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
- B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
- B60R2300/605—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint the adjustment being automatic
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/8046—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for replacing a rear-view mirror system
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Social Psychology (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computer Graphics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Databases & Information Systems (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
運転者の視線が表示部を含む一定の領域にあるとき、車両の後方を撮影して得られた撮影画像に基づき運転者の視点の運動に応じて表示部に表示する表示画像を得る。例えば、運転者の視点位置の基準視点位置からのずれに応じて表示画像を得る。例えば、視点位置の長期的変動に基づいて基準視点位置を更新する。例えば、運転者の視線が表示画像を表示する表示部を含む一定の領域にあるとき、基準視点位置を更新しない。
Description
運転者の視線が表示部を含む一定の領域にあるとき、車両の後方を撮影して得られた撮影画像に基づき上記運転者の視点の運動に応じて上記表示部に表示する表示画像を得る処理部を備える
画像処理装置にある。
1.実施の形態
2.変形例
[車両の構成物配置]
図1は、実施の形態としての車両10の構成物配置の一例を示している。車両10は、車体(ボディ)100と、車体開口部(窓)101と、シートなどの内装オブジェクト102を有している。図2(a)は車体(ボディ)100を示し、図2(b)のハッチング部分は車体開口部(窓)101を示し、図2(c)はシート等の内装オブジェクト102を示している。
図3は、画像処理装置109の構成例を示している。画像処理装置109は、記憶部111と、視錐台形状位置演算部112と、物体履歴記憶部113と、長期視点運動計測部114と、カメラ画像配置演算部115と、仮想空間配置演算部116と、射影演算部117と、画像描画部118を有している。
(2)車両と物体との距離の変化(近づいているか、遠ざかっているか。)
(3)物体の大きさ(一定以下の大きさの物体には着目する必要がない。 Ex. 昆虫)
(4)その物体が何か(車なのか、自転車なのか、人なのか、壁なのか、植物なのか。)
(5)運転者が見ているもの(運転者はどこを見ているか)
勿論、死角の発生を気にしなければ、内装オブジェクトや車体を透過率0%で描画し、実ミラーのような画像を生成して表示してもよい。
なお、上述実施の形態においては、車両のルームミラーを代替する電子ミラーに本技術を適用した例を示したが、本技術は、車両のサイドミラーを代替する電子ミラーにも適用できる。また、車両用の電子ミラーのみならず、一人で使用することが前提の電子ミラーであれば、本技術を適用することで、実際のミラーに近い距離感の提示を行うことができる。同様に、一人で使用することが前提であれば、電子ミラーではなく、電子窓にも本技術を適用できる。
(1)運転者の視線が表示部を含む一定の領域にあるとき、車両の後方を撮影して得られた撮影画像に基づき上記運転者の視点の運動に応じて上記表示部に表示する表示画像を得る処理部を備える
画像処理装置。
(2)上記処理部は、上記運転者の視点位置の基準視点位置からのずれに応じて上記表示画像を得る
前記(1)に記載の画像処理装置。
(3)上記処理部は、上記視点位置の長期的変動に基づいて上記基準視点位置を更新する
前記(2)に記載の画像処理装置。
(4)上記処理部は、上記運転者の視線が上記一定の領域にあるとき、上記基準視点位置を更新しない
前記(3)に記載の画像処理装置。
(5)上記処理部は、所定のサンプルレートで順次得られる上記視点位置を一定区間毎に平均して上記基準位置の更新値を得る
前記(3)または(4)に記載の画像処理装置。
(6)上記運転者の視点位置が着座状態に対応した一定の領域に入ったとき、上記運転者の視線が上記表示画像を表示する表示部上に一定時間継続してあった場合の上記運転者の視点位置を基準視点位置として登録する登録部をさらに備える
前記(2)から(5)のいずれかに記載の画像処理装置。
(7)上記処理部は、上記撮影画像に上記車両を示す画像を重畳して上記表示画像を得る
前記(1)から(6)のいずれかに記載の画像処理装置。
(8)上記車両を示す画像は、コンピュータグラフィックス画像である
前記(7)に記載の画像処理装置。
(9)上記車両の後方を撮影して得られた撮影画像は、上記車両の後部に取り付けられた撮影装置で撮影された撮影画像であり、
上記車両を示す画像は、車室内画像である
前記(7)または(8)に記載の画像処理装置。
(10)上記車両の後方を撮影して得られた撮影画像は、上記車両の側部に取り付けられた撮影装置で撮影された撮影画像を含み、
上記車両を示す画像は、車体画像である
前記(7)または(8)に記載の画像処理装置。
(11)上記処理部は、上記運転者の視点位置の基準視点位置からのずれに従って上記撮影画像と上記車両を示す画像との重畳位置関係を変化させる
前記(7)から(10)のいずれかに記載の画像処理装置。
(12)上記処理部は、
上記撮影画像と上記車両を示す画像を三次元空間に配置し、
上記運転者の視点位置の基準視点位置からのずれに従って変化する仮想視点位置を求め、該仮想視点位置で決まる視界によって上記撮影画像と上記車両を示す画像を射影座標系に変換して上記表示画像を得る
前記(11)に記載の画像処理装置。
(13)上記処理部は、上記撮影画像を、上記車両の後方に存在する所定のオブジェクトの位置に配置する
前記(12)に記載の画像処理装置。
(14)上記所定のオブジェクトは、上記車両に対して最も近くにあるオブジェクトである
前記(13)に記載の画像処理装置。
(15)上記所定のオブジェクトは、上記運転者が見ているオブジェクトである
前記(13)に記載の画像処理装置。
(16)上記処理部は、上記車両を示す画像を上記撮影画像が透過して見えるように、該撮影画像に重畳する
前記(7)から(15)のいずれかに記載の画像処理装置。
(17)運転者の視線が表示部を含む一定の領域にあるとき、車両の後方を撮影して得られた撮影画像に基づき上記運転者の視点の運動に応じて上記表示部に表示する表示画像を得る手順を有する
画像処理方法。
(18)車両の後方を撮影する撮影部と、
運転者の視線が表示部を含む一定の領域にあるとき、上記撮影部で撮影して得られた撮影画像に基づき上記運転者の視点の運動に応じて表示画像を得る処理部と、
上記処理部で得られた表示画像を表示する表示部を備える
画像処理システム。
(19)コンピュータを、
運転者の視線が表示部を含む一定の領域にあるとき、車両の後方を撮影して得られた撮影画像に基づき上記運転者の視点の運動に応じて上記表示部に表示する表示画像を得る処理手段として機能させる
プログラム。
100・・・車体(ボディ)
101・・・車体開口部(窓)
102・・・内装オブジェクト
103・・・後方撮影部
103R・・・右側後方撮影部
103L・・・左側後方撮影部
104・・・後方距離計測部
104R・・・右側後方距離計測部
104L・・・左側後方距離計測部
105・・・視点計測部
106・・・視線計測部
107・・・映像表示部
107A・・・仮想映像表示部
107R・・・右側後方映像表示部
107L・・・左側後方映像表示部
108・・・ユーザ操作部
109,109S・・・画像処理装置
111・・・記憶部
112・・・視錐台形状配置演算部
113・・・物体履歴記憶部
114・・・長期視点運動計測部
115・・・カメラ画像配置演算部
116・・・仮想空間配置演算部
117・・・射影演算部
117R・・・射影演算部(右)
117L・・・射影演算部(左)
118・・・画像描画部
118R・・・画像描画部(右)
118L・・・画像描画部(左)
Claims (18)
- 運転者の視線が表示部を含む一定の領域にあるとき、車両の後方を撮影して得られた撮影画像に基づき上記運転者の視点の運動に応じて上記表示部に表示する表示画像を得る処理部を備える
画像処理装置。 - 上記処理部は、上記運転者の視点位置の基準視点位置からのずれに応じて上記表示画像を得る
請求項1に記載の画像処理装置。 - 上記処理部は、上記視点位置の長期的変動に基づいて上記基準視点位置を更新する
請求項2に記載の画像処理装置。 - 上記処理部は、上記運転者の視線が上記一定の領域にあるとき、上記基準視点位置を更新しない
請求項3に記載の画像処理装置。 - 上記処理部は、所定のサンプルレートで順次得られる上記視点位置を一定区間毎に平均して上記基準位置の更新値を得る
請求項3に記載の画像処理装置。 - 上記運転者の視点位置が着座状態に対応した一定の領域に入ったとき、上記運転者の視線が上記表示画像を表示する表示部上に一定時間継続してあった場合の上記運転者の視点位置を基準視点位置として登録する登録部をさらに備える
請求項2に記載の画像処理装置。 - 上記処理部は、上記撮影画像に上記車両を示す画像を重畳して上記表示画像を得る
請求項1に記載の画像処理装置。 - 上記車両を示す画像は、コンピュータグラフィックス画像である
請求項7に記載の画像処理装置。 - 上記車両の後方を撮影して得られた撮影画像は、上記車両の後部に取り付けられた撮影装置で撮影された撮影画像であり、
上記車両を示す画像は、車室内画像である
請求項7に記載の画像処理装置。 - 上記車両の後方を撮影して得られた撮影画像は、上記車両の側部に取り付けられた撮影装置で撮影された撮影画像を含み、
上記車両を示す画像は、車体画像である
請求項7に記載の画像処理装置。 - 上記処理部は、上記運転者の視点位置の基準視点位置からのずれに従って上記撮影画像と上記車両を示す画像との重畳位置関係を変化させる
請求項7に記載の画像処理装置。 - 上記処理部は、
上記撮影画像と上記車両を示す画像を三次元空間に配置し、
上記運転者の視点位置の基準視点位置からのずれに従って変化する仮想視点位置を求め、該仮想視点位置で決まる視界によって上記撮影画像と上記車両を示す画像を射影座標系に変換して上記表示画像を得る
請求項11に記載の画像処理装置。 - 上記処理部は、上記撮影画像を、上記車両の後方に存在する所定のオブジェクトの位置に配置する
請求項12に記載の画像処理装置。 - 上記所定のオブジェクトは、上記車両に対して最も近くにあるオブジェクトである
請求項13に記載の画像処理装置。 - 上記所定のオブジェクトは、上記運転者が見ているオブジェクトである
請求項13に記載の画像処理装置。 - 上記処理部は、上記車両を示す画像を上記撮影画像が透過して見えるように、該撮影画像に重畳する
請求項7に記載の画像処理装置。 - 運転者の視線が表示部を含む一定の領域にあるとき、車両の後方を撮影して得られた撮影画像に基づき上記運転者の視点の運動に応じて上記表示部に表示する表示画像を得る手順を有する
画像処理方法。 - 車両の後方を撮影する撮影部と、
運転者の視線が表示部を含む一定の領域にあるとき、上記撮影部で撮影して得られた撮影画像に基づき上記運転者の視点の運動に応じて表示画像を得る処理部と、
上記処理部で得られた表示画像を表示する表示部を備える
画像処理システム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018232050 | 2018-12-11 | ||
JP2018232050 | 2018-12-11 | ||
PCT/JP2019/048364 WO2020122085A1 (ja) | 2018-12-11 | 2019-12-10 | 画像処理装置、画像処理方法および画像処理システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020122085A1 true JPWO2020122085A1 (ja) | 2021-10-21 |
JP7444073B2 JP7444073B2 (ja) | 2024-03-06 |
Family
ID=71077332
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020559264A Active JP7444073B2 (ja) | 2018-12-11 | 2019-12-10 | 画像処理装置、画像処理方法および画像処理システム |
Country Status (6)
Country | Link |
---|---|
US (1) | US11987182B2 (ja) |
EP (1) | EP3896962A4 (ja) |
JP (1) | JP7444073B2 (ja) |
KR (1) | KR20210100610A (ja) |
CN (1) | CN113170084A (ja) |
WO (1) | WO2020122085A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3793191A4 (en) * | 2018-05-08 | 2021-04-14 | Sony Semiconductor Solutions Corporation | IMAGE PROCESSING DEVICE, MOTION MACHINE, METHOD AND PROGRAM |
JP7018923B2 (ja) * | 2019-12-13 | 2022-02-14 | 本田技研工業株式会社 | 駐車支援装置、駐車支援方法およびプログラム |
JP2021182704A (ja) * | 2020-05-19 | 2021-11-25 | トヨタ自動車株式会社 | 画像表示装置 |
Family Cites Families (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3890595B2 (ja) * | 2003-09-30 | 2007-03-07 | マツダ株式会社 | 車両用情報提供装置 |
US8179435B2 (en) | 2005-09-28 | 2012-05-15 | Nissan Motor Co., Ltd. | Vehicle surroundings image providing system and method |
JP5115136B2 (ja) | 2007-10-16 | 2013-01-09 | 株式会社デンソー | 車両後方監視装置 |
JP2010274813A (ja) | 2009-05-29 | 2010-12-09 | Fujitsu Ten Ltd | 画像生成装置及び画像表示システム |
EP2512134B1 (en) | 2009-12-07 | 2020-02-05 | Clarion Co., Ltd. | Vehicle periphery monitoring system |
KR101544524B1 (ko) * | 2010-12-16 | 2015-08-17 | 한국전자통신연구원 | 차량용 증강현실 디스플레이 시스템 및 차량용 증강현실 디스플레이 방법 |
US8744642B2 (en) * | 2011-09-16 | 2014-06-03 | Lytx, Inc. | Driver identification based on face data |
US20130096820A1 (en) | 2011-10-14 | 2013-04-18 | Continental Automotive Systems, Inc. | Virtual display system for a vehicle |
US8702250B2 (en) | 2012-04-02 | 2014-04-22 | GM Global Technology Operations LLC | System and method for adjusting vehicle mirrors automatically based on driver head position |
JP5874920B2 (ja) | 2012-04-12 | 2016-03-02 | スズキ株式会社 | 車両周囲確認用モニター装置 |
JP5977130B2 (ja) | 2012-09-25 | 2016-08-24 | 富士通テン株式会社 | 画像生成装置、画像表示システム、および、画像生成方法 |
US9405982B2 (en) | 2013-01-18 | 2016-08-02 | GM Global Technology Operations LLC | Driver gaze detection system |
JP6364702B2 (ja) | 2013-03-29 | 2018-08-01 | アイシン精機株式会社 | 画像表示制御装置、画像表示システム、および表示ユニット |
JP6234701B2 (ja) * | 2013-05-15 | 2017-11-22 | クラリオン株式会社 | 車両用周囲モニタ装置 |
JP6232994B2 (ja) | 2013-12-16 | 2017-11-22 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにプログラム |
US20160280136A1 (en) | 2014-03-05 | 2016-09-29 | Guy M. Besson | Active-tracking vehicular-based systems and methods for generating adaptive image |
JP6610546B2 (ja) * | 2014-07-03 | 2019-11-27 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
JP6384188B2 (ja) | 2014-08-12 | 2018-09-05 | ソニー株式会社 | 車両用表示装置と表示制御方法および後方モニタリングシステム |
JP6446925B2 (ja) * | 2014-09-05 | 2019-01-09 | アイシン精機株式会社 | 画像表示制御装置および画像表示システム |
JP6350247B2 (ja) | 2014-12-01 | 2018-07-04 | 株式会社デンソー | 画像処理装置 |
JP6512475B2 (ja) * | 2015-04-30 | 2019-05-15 | 株式会社リコー | 情報提供装置、情報提供方法及び情報提供用制御プログラム |
DE102015008042B3 (de) | 2015-06-23 | 2016-12-15 | Mekra Lang Gmbh & Co. Kg | Anzeigeeinrichtung für Fahrzeuge, insbesondere Nutzfahrzeuge |
US10116873B1 (en) * | 2015-11-09 | 2018-10-30 | Ambarella, Inc. | System and method to adjust the field of view displayed on an electronic mirror using real-time, physical cues from the driver in a vehicle |
JP2017111739A (ja) * | 2015-12-18 | 2017-06-22 | 株式会社デンソー | 運転支援装置、運転支援方法 |
JP6770330B2 (ja) | 2016-04-25 | 2020-10-14 | 本田技研工業株式会社 | 画像表示装置 |
TWI642972B (zh) | 2018-03-07 | 2018-12-01 | 和碩聯合科技股份有限公司 | 抬頭顯示系統及其控制方法 |
WO2020122084A1 (ja) | 2018-12-11 | 2020-06-18 | ソニー株式会社 | 画像処理装置、画像処理方法および画像処理システム |
KR20210100611A (ko) | 2018-12-11 | 2021-08-17 | 소니그룹주식회사 | 화상 처리 장치, 화상 처리 방법 및 화상 처리 시스템 |
CN113170081A (zh) | 2018-12-11 | 2021-07-23 | 索尼集团公司 | 图像处理装置、图像处理方法和图像处理系统 |
-
2019
- 2019-12-10 KR KR1020217016360A patent/KR20210100610A/ko unknown
- 2019-12-10 WO PCT/JP2019/048364 patent/WO2020122085A1/ja unknown
- 2019-12-10 JP JP2020559264A patent/JP7444073B2/ja active Active
- 2019-12-10 EP EP19896934.7A patent/EP3896962A4/en active Pending
- 2019-12-10 US US17/289,735 patent/US11987182B2/en active Active
- 2019-12-10 CN CN201980080357.6A patent/CN113170084A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
WO2020122085A1 (ja) | 2020-06-18 |
KR20210100610A (ko) | 2021-08-17 |
EP3896962A1 (en) | 2021-10-20 |
CN113170084A (zh) | 2021-07-23 |
US11987182B2 (en) | 2024-05-21 |
JP7444073B2 (ja) | 2024-03-06 |
EP3896962A4 (en) | 2022-01-26 |
US20220001803A1 (en) | 2022-01-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6134478B2 (ja) | 情報処理装置、表示制御方法、プログラムおよび記憶媒体 | |
JP7428139B2 (ja) | 画像処理装置、画像処理方法および画像処理システム | |
JP7444073B2 (ja) | 画像処理装置、画像処理方法および画像処理システム | |
US11813988B2 (en) | Image processing apparatus, image processing method, and image processing system | |
JP2007052304A (ja) | 映像表示システム | |
US10291848B2 (en) | Image display system and image display method | |
JP7484722B2 (ja) | 画像処理装置、画像処理方法および画像処理システム | |
TW201919390A (zh) | 顯示系統以及顯示方法 | |
JP5476216B2 (ja) | 車両用周囲監視装置 | |
TWI486054B (zh) | A portrait processing device, a three-dimensional image display device, a method and a program | |
JP2016181004A (ja) | 情報処理装置、表示制御方法、プログラムおよび記憶媒体 | |
US20190137770A1 (en) | Display system and method thereof | |
KR101947372B1 (ko) | Hmd에 위치 보정 영상을 제공하는 방법 및 hmd에 위치 보정 영상을 표시하는 방법, 그리고 이를 이용한 위치 보정 영상을 표시하는 hmd | |
KR20190068162A (ko) | 차량용 디스플레이 시스템 및 그 제어 방법 | |
CN111133363A (zh) | 用于显示至少一个根据人员的眼睛位置显示的空间区段的方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221017 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230711 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230907 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231017 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231208 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240123 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240205 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7444073 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |