JP7372708B2 - 広視野角のステレオカメラ装置およびこれを利用した深度画像処理方法 - Google Patents
広視野角のステレオカメラ装置およびこれを利用した深度画像処理方法 Download PDFInfo
- Publication number
- JP7372708B2 JP7372708B2 JP2022528968A JP2022528968A JP7372708B2 JP 7372708 B2 JP7372708 B2 JP 7372708B2 JP 2022528968 A JP2022528968 A JP 2022528968A JP 2022528968 A JP2022528968 A JP 2022528968A JP 7372708 B2 JP7372708 B2 JP 7372708B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- stereo camera
- camera device
- person
- depth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims description 25
- 238000000034 method Methods 0.000 claims description 36
- 238000012545 processing Methods 0.000 claims description 30
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 239000000284 extract Substances 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims 2
- 238000010586 diagram Methods 0.000 description 20
- 230000008901 benefit Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000007423 decrease Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012876 topography Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/232—Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Cameras In General (AREA)
- Stereoscopic And Panoramic Photography (AREA)
Description
Claims (12)
- 垂直方向に配置された第1レンズと第2レンズによって撮影される被写体の第1画像と第2画像を受信する受信部、
前記受信した第1画像と第2画像を地図投影法で変換する変換部、および
前記地図投影法で変換された第1画像と第2画像を縦方向にステレオマッチングを実行することにより、前記被写体の深度を抽出する処理部
を含み、
前記変換部は、前記第1画像と前記第2画像を正距円筒図法(Equirectangular Projection)で変換すること、及び
球面座標系を利用してエピポーラ線(Epipolar line)を球面の経度線と一致させる回転変換を実行することを特徴とする、ステレオカメラ装置。 - 前記処理部は、
前記地図投影法で変換された第1画像と第2画像を経度線に対応する垂直線に沿って検索することにより、ステレオマッチングを実行することを特徴とする、請求項1に記載のステレオカメラ装置。 - 前記第1レンズと前記第2レンズは、
魚眼レンズを含むことを特徴とする、請求項1に記載のステレオカメラ装置。 - 前記第1レンズと前記第2レンズは、
水平視野角が180度以上の魚眼レンズであることを特徴とする、請求項3に記載のステレオカメラ装置。 - 前記処理部は、
前記抽出された被写体の深度を利用して水平180度以上の広視野角を有する前記被写体に対する画像を取得することを特徴とする、請求項1に記載のステレオカメラ装置。 - 前記受信部は、
前記第1画像を撮影するためのイメージセンサと前記第2画像を撮影するためのイメージセンサを含み、
前記第1画像と前記第2画像を撮影するためのイメージセンサは、
横の長さが縦の長さよりも長い長方形の場合、垂直視野角よりも広い水平視野角を得るようにそれぞれ横方向に配置されることを特徴とする、請求項1に記載のステレオカメラ装置。 - 前記ステレオカメラ装置から抽出される前記被写体の深度マップを利用してユーザの動作と前記ユーザの周辺に位置する事物と地形を含む周辺環境を認識し、前記認識されたユーザの動作と周辺環境を前記ユーザに提供するビジョン処理部
をさらに含む、請求項1に記載のステレオカメラ装置。 - 前記ステレオカメラ装置から抽出される前記被写体の深度マップを利用して人物および前記人物との距離を認識し、前記認識された人物および前記人物との距離を利用して前記人物を一定の距離で追従するように制御する制御部
をさらに含む、請求項1に記載のステレオカメラ装置。 - 前記制御部は、
前記被写体の深度マップを利用して前記人物の移動方向と前記人物の周辺に位置する事物と地形を含む周辺環境を認識し、前記人物の移動方向と前記周辺環境に基づいて衝突の可能性を感知し、衝突感知可能性を反映して前記人物を追従するように制御することを特徴とする、請求項8に記載のステレオカメラ装置。 - ステレオカメラ装置の深度画像処理方法であって、
垂直方向に配置された第1レンズと第2レンズによって撮影される被写体の第1画像と第2画像を受信する段階、
前記受信した第1画像と第2画像を地図投影法で変換する段階、および
前記地図投影法で変換された第1画像と第2画像を縦方向にステレオマッチングを実行することにより、前記被写体の深度を抽出する段階を含み、
前記第1画像と前記第2画像を正距円筒図法(Equirectangular Projection)で変換する段階、及び
球面座標系を利用してエピポーラ線(Epipolar line)を球面の経度線と一致させる回転変換を実行する段階
を含む、深度画像処理方法。 - 前記抽出された被写体の深度マップを利用してユーザの動作と前記ユーザの周辺に位置する事物と地形を含む周辺環境を認識し、前記認識されたユーザの動作と周辺環境を前記ユーザに提供する段階
をさらに含む、請求項10に記載の深度画像処理方法。 - 前記抽出された被写体の深度マップを利用して人物および前記人物との距離を認識し、前記認識された人物および前記人物との距離を利用して前記人物を一定の距離で追従するように制御する段階
をさらに含む、請求項10に記載の深度画像処理方法。
Applications Claiming Priority (9)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200104281A KR102310958B1 (ko) | 2020-08-20 | 2020-08-20 | 광시야각의 스테레오 카메라 장치 및 이를 이용한 깊이 영상 처리 방법 |
KR10-2020-0104281 | 2020-08-20 | ||
KR1020210023552A KR102430273B1 (ko) | 2021-02-22 | 2021-02-22 | 광시야각의 스테레오 카메라 기반 1인칭 비전 시스템 및 이를 이용한 영상 처리 방법 |
KR10-2021-0023552 | 2021-02-22 | ||
KR10-2021-0023553 | 2021-02-22 | ||
KR1020210023553A KR102430274B1 (ko) | 2021-02-22 | 2021-02-22 | 광시야각의 스테레오 카메라 기반 사람 추종 시스템 및 그 방법 |
KR1020210097826A KR20230016390A (ko) | 2021-07-26 | 2021-07-26 | 광시야각의 스테레오 카메라 장치 및 이를 이용한 깊이 영상 처리 방법 |
KR10-2021-0097826 | 2021-07-26 | ||
PCT/KR2021/009844 WO2022039404A1 (ko) | 2020-08-20 | 2021-07-29 | 광시야각의 스테레오 카메라 장치 및 이를 이용한 깊이 영상 처리 방법 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023502239A JP2023502239A (ja) | 2023-01-23 |
JP7372708B2 true JP7372708B2 (ja) | 2023-11-01 |
Family
ID=80270038
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022528968A Active JP7372708B2 (ja) | 2020-08-20 | 2021-07-29 | 広視野角のステレオカメラ装置およびこれを利用した深度画像処理方法 |
Country Status (5)
Country | Link |
---|---|
US (2) | US11729367B2 (ja) |
EP (1) | EP4057626A4 (ja) |
JP (1) | JP7372708B2 (ja) |
CN (1) | CN115191113A (ja) |
WO (1) | WO2022039404A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7554105B2 (ja) * | 2020-12-02 | 2024-09-19 | ヤマハ発動機株式会社 | 距離認識システムおよびその制御方法、船舶 |
US12015755B2 (en) * | 2021-03-25 | 2024-06-18 | Korea Advanced Institute Of Science And Technology | Real-time omnidirectional stereo matching method using multi-view fisheye lenses and system thereof |
JP2022184139A (ja) * | 2021-05-31 | 2022-12-13 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180278916A1 (en) | 2015-08-07 | 2018-09-27 | Samsung Electronics Co., Ltd. | Electronic device for generating 360-degree three-dimensional image and method therefor |
CN109196557A (zh) | 2016-06-08 | 2019-01-11 | 索尼公司 | 图像处理装置、图像处理方法和车辆 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2008053649A1 (ja) * | 2006-11-02 | 2010-02-25 | コニカミノルタホールディングス株式会社 | 広角画像取得方法及び広角ステレオカメラ装置 |
US20100220932A1 (en) * | 2007-06-20 | 2010-09-02 | Dong-Qing Zhang | System and method for stereo matching of images |
JP2009139246A (ja) * | 2007-12-07 | 2009-06-25 | Honda Motor Co Ltd | 画像処理装置、画像処理方法、画像処理プログラムおよび位置検出装置並びにそれを備えた移動体 |
JP5760559B2 (ja) * | 2011-03-18 | 2015-08-12 | 株式会社リコー | ステレオカメラ装置、視差画像生成方法 |
JP2012247364A (ja) * | 2011-05-30 | 2012-12-13 | Panasonic Corp | ステレオカメラ装置、ステレオカメラシステム、プログラム |
JP6353289B2 (ja) * | 2014-06-23 | 2018-07-04 | 株式会社Soken | 測距補正装置 |
WO2017204035A1 (ja) | 2016-05-26 | 2017-11-30 | 富士フイルム株式会社 | 研磨液、研磨液の製造方法、研磨液原液、及び化学的機械的研磨方法 |
KR101853269B1 (ko) * | 2017-04-12 | 2018-06-14 | 주식회사 씨오티커넥티드 | 스테레오 이미지들에 관한 깊이 맵 스티칭 장치 |
KR102454161B1 (ko) * | 2017-06-15 | 2022-10-14 | 삼성전자주식회사 | 전방향 이미지를 프로세싱하기 위한 방법 및 장치 |
JP6793608B2 (ja) * | 2017-08-07 | 2020-12-02 | 日立オートモティブシステムズ株式会社 | ステレオ画像処理装置 |
ES2702999B2 (es) | 2017-09-05 | 2022-06-28 | Univ Valencia Politecnica | Material poroso para la detección de Candida albicans, método de diagnóstico que lo utiliza y método de preparación del mismo |
KR20190119231A (ko) * | 2018-04-04 | 2019-10-22 | 엘지전자 주식회사 | 위치 보정 기능이 향상된 주행 제어장치 및 이를 이용한 로봇 청소기 |
US10672188B2 (en) * | 2018-04-19 | 2020-06-02 | Microsoft Technology Licensing, Llc | Surface reconstruction for environments with moving objects |
CN108888187A (zh) * | 2018-05-31 | 2018-11-27 | 四川斐讯信息技术有限公司 | 一种基于深度相机的扫地机器人 |
KR102345230B1 (ko) | 2019-08-23 | 2021-12-30 | 주식회사 제우스이엔피 | 실리콘질화막 식각액 조성물 및 이의 제조방법 |
KR20210023553A (ko) | 2019-08-23 | 2021-03-04 | 주식회사 에싸 | 장작 패기 장치 및 방법 |
TWM594322U (zh) * | 2019-11-14 | 2020-04-21 | 大陸商南京深視光點科技有限公司 | 全向立體視覺的相機配置系統 |
US11232315B2 (en) * | 2020-04-28 | 2022-01-25 | NextVPU (Shanghai) Co., Ltd. | Image depth determining method and living body identification method, circuit, device, and medium |
-
2021
- 2021-07-29 WO PCT/KR2021/009844 patent/WO2022039404A1/ko unknown
- 2021-07-29 JP JP2022528968A patent/JP7372708B2/ja active Active
- 2021-07-29 CN CN202180007726.6A patent/CN115191113A/zh active Pending
- 2021-07-29 EP EP21858491.0A patent/EP4057626A4/en active Pending
- 2021-08-18 US US17/405,615 patent/US11729367B2/en active Active
-
2023
- 2023-06-29 US US18/343,900 patent/US20230344979A1/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180278916A1 (en) | 2015-08-07 | 2018-09-27 | Samsung Electronics Co., Ltd. | Electronic device for generating 360-degree three-dimensional image and method therefor |
CN109196557A (zh) | 2016-06-08 | 2019-01-11 | 索尼公司 | 图像处理装置、图像处理方法和车辆 |
Also Published As
Publication number | Publication date |
---|---|
JP2023502239A (ja) | 2023-01-23 |
US20220060677A1 (en) | 2022-02-24 |
EP4057626A4 (en) | 2023-11-15 |
WO2022039404A1 (ko) | 2022-02-24 |
US11729367B2 (en) | 2023-08-15 |
EP4057626A1 (en) | 2022-09-14 |
CN115191113A (zh) | 2022-10-14 |
US20230344979A1 (en) | 2023-10-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7372708B2 (ja) | 広視野角のステレオカメラ装置およびこれを利用した深度画像処理方法 | |
CN108406731B (zh) | 一种基于深度视觉的定位装置、方法及机器人 | |
KR101776622B1 (ko) | 다이렉트 트래킹을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법 | |
EP3627446B1 (en) | System, method and medium for generating a geometric model | |
US10762386B2 (en) | Method of determining a similarity transformation between first and second coordinates of 3D features | |
KR101775591B1 (ko) | 데이터베이스 생성의 목적을 위한 대화식 및 자동 3-d 오브젝트 스캐닝 방법 | |
EP2615580B1 (en) | Automatic scene calibration | |
KR20180118219A (ko) | 이동형 원격현전 로봇과의 인터페이싱 | |
WO2009142841A2 (en) | Rectangular table detection using hybrid rgb and depth camera sensors | |
WO2019127518A1 (zh) | 避障方法、装置及可移动平台 | |
KR101207535B1 (ko) | 이동 로봇의 이미지 기반 동시적 위치 인식 및 지도 작성 방법 | |
JP7424390B2 (ja) | 画像処理装置、画像処理方法、および画像処理プログラム | |
Bazin et al. | UAV attitude estimation by vanishing points in catadioptric images | |
JP6410231B2 (ja) | 位置合わせ装置、位置合わせ方法及び位置合わせ用コンピュータプログラム | |
CN113228117B (zh) | 创作装置、创作方法和记录有创作程序的记录介质 | |
Faisal et al. | Multi-sensors multi-baseline mapping system for mobile robot using stereovision camera and laser-range device | |
KR102310958B1 (ko) | 광시야각의 스테레오 카메라 장치 및 이를 이용한 깊이 영상 처리 방법 | |
AU2015202200A1 (en) | Mobile human interface robot | |
KR102430273B1 (ko) | 광시야각의 스테레오 카메라 기반 1인칭 비전 시스템 및 이를 이용한 영상 처리 방법 | |
KR20230016390A (ko) | 광시야각의 스테레오 카메라 장치 및 이를 이용한 깊이 영상 처리 방법 | |
KR101997563B1 (ko) | 이동 기기의 위치 인식 방법 | |
CN116612459B (zh) | 目标检测方法、装置、电子设备及存储介质 | |
US20230245362A1 (en) | Image processing device, image processing method, and computer-readable medium | |
KR102430274B1 (ko) | 광시야각의 스테레오 카메라 기반 사람 추종 시스템 및 그 방법 | |
Dias et al. | Cooperation between visual and inertial information for 3d vision |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220517 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230425 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230724 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230926 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231013 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7372708 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |