JP7360819B2 - 撮像装置、及び撮像制御方法 - Google Patents
撮像装置、及び撮像制御方法 Download PDFInfo
- Publication number
- JP7360819B2 JP7360819B2 JP2019099338A JP2019099338A JP7360819B2 JP 7360819 B2 JP7360819 B2 JP 7360819B2 JP 2019099338 A JP2019099338 A JP 2019099338A JP 2019099338 A JP2019099338 A JP 2019099338A JP 7360819 B2 JP7360819 B2 JP 7360819B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- video
- image sensor
- distance
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
Description
図1を参照しながら、本実施形態に係る撮像装置の構造について説明する。図1は、本実施形態に係る撮像装置の構造について説明するための模式図である。図1に例示した撮像装置10は、本実施形態に係る撮像装置の一例である。
ここで、図3を参照しながら、本実施形態に係る撮像素子として利用可能なCMOSイメージセンサの構造及び読み出し制御について説明する。図3は、CMOSイメージセンサの構造及び読み出し制御について説明するための模式図である。
図5を参照しながら、本実施形態に係る読み出し制御の一態様(実施例1)について説明する。図5は、本実施形態に係る読み出し制御の一態様(実施例1)について説明するための説明図である。なお、実施例1の説明では、説明を簡単にするため、上述した比較例と同様の表記(LINE1Y…、LINE1X…、SIG11Y…など)を用い、N2=5、N3=1の場合を想定して説明を進める。もちろん、本実施形態に係る技術の適用範囲はこの設定例に限定されない。
次に、図6を参照しながら、本実施形態に係る読み出し制御の一態様(実施例2)について説明する。図6は、本実施形態に係る読み出し制御の一態様(実施例2)について説明するための説明図である。なお、実施例2の説明では、説明を簡単にするため、上述した比較例と同様の表記(LINE1Y…、LINE1X…、SIG11Y…など)を用い、N2=5、N3=1の場合を想定して説明を進める。もちろん、本実施形態に係る技術の適用範囲はこの設定例に限定されない。
次に、図7を参照しながら、本実施形態に係る重なり部分の処理方法について説明する。図7は、本実施形態に係る重なり部分の処理方法について説明するための説明図である。
次に、図8を参照しながら、本実施形態に係る撮像処理の流れについて説明する。図8は、本実施形態に係る撮像処理の流れについて説明するためのフロー図である。
次に、図9を参照しながら、制御部15及び映像処理部16の機能を実現可能なコンピュータ100のハードウェアについて説明する。図9は、本実施形態に係る制御部及び映像処理部の機能を実現可能なハードウェアについて説明するためのブロック図である。
11 光学系
12 光学部材
12a 分割面
13、14 撮像素子
13a 第1の映像
14a 第2の映像
15 制御部
16 映像処理部
20 表示装置
ST 絞り
AMP11、AMP12、AMP13、AMP21、AMP22、AMP23、AMP31、AMP32、AMP33 増幅器
CDS1、CDS2、CDS3 列回路
PD11、PD12、PD13、PD21、PD22、PD23、PD31、PD32、PD33 フォトダイオード
SW01、SW02、SW03 列選択スイッチ
SW11、SW12、SW13、SW21、SW22、SW23、SW31、SW32、SW33 画素選択スイッチ
CRF コサイン重み関数
K 重みパラメータ
P1、P2、P3 画素値
Claims (7)
- 光が入射する第1の面と、光が出射する第2及び第3の面とを有し、前記第1の面に入射する光の光路を2つに分割して前記第2及び第3の面に導く光学部材と、
前記第2の面の側において、前記第1の面内の第1の領域を通った光が出射する位置に配置される第1の撮像素子と、
前記第3の面の側において、前記第1の面内の第2の領域を通った光が出射する位置に配置される第2の撮像素子と、
前記第1の撮像素子からの出力に基づく第1の映像と、前記第2の撮像素子からの出力に基づく第2の映像とを合成して第3の映像を生成する映像処理部と、
を備え、
前記第1の領域は、前記第2の領域と一部が重複するように配置され、
前記第1の撮像素子及び前記第2の撮像素子のそれぞれは、前記第1の領域と前記第2の領域とが重複しない非重複領域の少なくとも一部を通った光の入射位置にある受光面端部の画素ラインから順に各画素ラインで生成される電気信号を順次読み出し、
前記映像処理部は、前記第1の領域と前記第2の領域とが重なる重複領域に対応する前記第3の映像の映像要素を生成するとき、前記映像要素の画素値Pを式(1)に基づいて計算し、
P=K・P1+(1-K)・P2 …式(1)、
ここで、P1は、前記第1の映像の画素値であり、P2は、前記第2の映像の画素値であり、Kは、前記画素値Pに対応する画素と、前記第1の領域における非重複領域と前記重複領域との境界L1との間の距離dの関数で表現されるパラメータであり、前記関数は、0から、前記境界L1と、前記第2の領域における非重複領域と前記重複領域との境界L2との間の距離Dまで前記距離dが増加するにつれて滑らかに減少し、前記距離dが0のときに1となり、かつ前記距離dが前記距離Dに等しいときに0となる関数であり、
前記第3の映像は、N×N画素のスクエア映像であり、
前記映像処理部は、前記スクエア映像の中心部に位置する(N/2)×M画素(M<N)の領域を切り出して第4の映像を生成し、前記スクエア映像をM×M画素にダウンコンバートした後、ダウンコンバート後の映像の左端及び右端から、{(M-N/2)/2}×M画素の領域を取り除いて(N/2)×M画素の第5の映像を生成し、前記第4の映像と前記第5の映像とを左右に並べて合成したワイド映像を生成する、
撮像装置。 - 光が入射する第1の面と、光が出射する第2及び第3の面とを有し、前記第1の面に入射する光の光路を2つに分割して前記第2及び第3の面に導く光学部材と、
前記第2の面の側において、前記第1の面内の第1の領域を通った光が出射する位置に配置される第1の撮像素子と、
前記第3の面の側において、前記第1の面内の第2の領域を通った光が出射する位置に配置される第2の撮像素子と、
前記第1の撮像素子からの出力に基づく第1の映像と、前記第2の撮像素子からの出力に基づく第2の映像とを合成して第3の映像を生成する映像処理部と、
を備え、
前記第1の領域は、前記第2の領域と一部が重複するように配置され、
前記第1の撮像素子及び前記第2の撮像素子のそれぞれは、前記第1の領域と前記第2の領域とが重複する重複領域の少なくとも一部を通った光の入射位置にある受光面端部の画素ラインから順に各画素ラインで生成される電気信号を順次読み出し、
前記映像処理部は、前記第1の領域と前記第2の領域とが重なる重複領域に対応する前記第3の映像の映像要素を生成するとき、前記映像要素の画素値Pを式(1)に基づいて計算し、
P=K・P1+(1-K)・P2 …式(1)、
ここで、P1は、前記第1の映像の画素値であり、P2は、前記第2の映像の画素値であり、Kは、前記画素値Pに対応する画素と、前記第1の領域における非重複領域と前記重複領域との境界L1との間の距離dの関数で表現されるパラメータであり、前記関数は、0から、前記境界L1と、前記第2の領域における非重複領域と前記重複領域との境界L2との間の距離Dまで前記距離dが増加するにつれて滑らかに減少し、前記距離dが0のときに1となり、かつ前記距離dが前記距離Dに等しいときに0となる関数であり、
前記第3の映像は、N×N画素のスクエア映像であり、
前記映像処理部は、前記スクエア映像の中心部に位置する(N/2)×M画素(M<N)の領域を切り出して第4の映像を生成し、前記スクエア映像をM×M画素にダウンコンバートした後、ダウンコンバート後の映像の左端及び右端から、{(M-N/2)/2}×M画素の領域を取り除いて(N/2)×M画素の第5の映像を生成し、前記第4の映像と前記第5の映像とを左右に並べて合成したワイド映像を生成する、
撮像装置。 - 前記第1の撮像素子及び前記第2の撮像素子は同じ仕様の固体撮像素子であり、
前記第1の撮像素子における読み出し開始のタイミングを、前記第2の撮像素子における読み出し開始のタイミングと一致させる制御部をさらに備える
請求項1又は2に記載の撮像装置。 - 前記制御部は、前記第1の撮像素子の読み出し速度が、前記第2の撮像素子の読み出し速度より遅い場合に、前記第2の撮像素子の読み出し速度を、前記第1の撮像素子の読み出し速度と一致させる
請求項3に記載の撮像装置。 - 前記Kは、式(2)で与えられる、
K={1+cos[π(d/D)]}/2 …式(2)、
請求項1又は2に記載の撮像装置。 - 光が入射する第1の面と、光が出射する第2及び第3の面とを有し、前記第1の面に入射する光の光路を2つに分割して前記第2及び第3の面に導く光学部材と、前記第2の面の側において、前記第1の面内の第1の領域を通った光が出射する位置に配置される第1の撮像素子と、前記第3の面の側において、前記第1の面内の第2の領域を通った光が出射する位置に配置される第2の撮像素子と、前記第1の撮像素子からの出力に基づく第1の映像と、前記第2の撮像素子からの出力に基づく第2の映像とを合成して第3の映像を生成する映像処理部と、を備えた撮像装置における撮像制御方法であって、
前記第1の領域は、前記第2の領域と一部が重複するように配置され、
前記撮像装置の制御部により、前記第1の撮像素子及び前記第2の撮像素子のそれぞれが、前記第1の領域と前記第2の領域とが重複しない非重複領域の少なくとも一部を通った光の入射位置にある受光面端部の画素ラインから順に各画素ラインで生成される電気信号を順次読み出すように制御することと、
前記第1の領域と前記第2の領域とが重なる重複領域に対応する前記第3の映像の映像要素を生成することと、
を含み、
前記第3の映像の映像要素を生成するとき、前記映像要素の画素値Pを式(1)に基づいて計算し、
P=K・P1+(1-K)・P2 …式(1)、
ここで、P1は、前記第1の映像の画素値であり、P2は、前記第2の映像の画素値であり、Kは、前記画素値Pに対応する画素と、前記第1の領域における非重複領域と前記重複領域との境界L1との間の距離dの関数で表現されるパラメータであり、前記関数は、0から、前記境界L1と、前記第2の領域における非重複領域と前記重複領域との境界L2との間の距離Dまで前記距離dが増加するにつれて滑らかに減少し、前記距離dが0のときに1となり、かつ前記距離dが前記距離Dに等しいときに0となる関数であり、
前記第3の映像は、N×N画素のスクエア映像であり、
前記方法は、前記スクエア映像の中心部に位置する(N/2)×M画素(M<N)の領域を切り出して第4の映像を生成することと、前記スクエア映像をM×M画素にダウンコンバートした後、ダウンコンバート後の映像の左端及び右端から、{(M-N/2)/2}×M画素の領域を取り除いて(N/2)×M画素の第5の映像を生成することと、前記第4の映像と前記第5の映像とを左右に並べて合成したワイド映像を生成することと、をさらに含む、
撮像制御方法。 - 光が入射する第1の面と、光が出射する第2及び第3の面とを有し、前記第1の面に入射する光の光路を2つに分割して前記第2及び第3の面に導く光学部材と、前記第2の面の側において、前記第1の面内の第1の領域を通った光が出射する位置に配置される第1の撮像素子と、前記第3の面の側において、前記第1の面内の第2の領域を通った光が出射する位置に配置される第2の撮像素子と、前記第1の撮像素子からの出力に基づく第1の映像と、前記第2の撮像素子からの出力に基づく第2の映像とを合成して第3の映像を生成する映像処理部と、を備えた撮像装置における撮像制御方法であって、
前記第1の領域は、前記第2の領域と一部が重複するように配置され、
前記撮像装置の制御部により、前記第1の撮像素子及び前記第2の撮像素子のそれぞれが、前記第1の領域と前記第2の領域とが重複する重複領域の少なくとも一部を通った光の入射位置にある受光面端部の画素ラインから順に各画素ラインで生成される電気信号を順次読み出すように制御することと、
前記第1の領域と前記第2の領域とが重なる重複領域に対応する前記第3の映像の映像要素を生成することと、
を含み、
前記第3の映像の映像要素を生成するとき、前記映像要素の画素値Pを式(1)に基づいて計算し、
P=K・P1+(1-K)・P2 …式(1)、
ここで、P1は、前記第1の映像の画素値であり、P2は、前記第2の映像の画素値であり、Kは、前記画素値Pに対応する画素と、前記第1の領域における非重複領域と前記重複領域との境界L1との間の距離dの関数で表現されるパラメータであり、前記関数は、0から、前記境界L1と、前記第2の領域における非重複領域と前記重複領域との境界L2との間の距離Dまで前記距離dが増加するにつれて滑らかに減少し、前記距離dが0のときに1となり、かつ前記距離dが前記距離Dに等しいときに0となる関数であり、
前記第3の映像は、N×N画素のスクエア映像であり、
前記方法は、前記スクエア映像の中心部に位置する(N/2)×M画素(M<N)の領域を切り出して第4の映像を生成することと、前記スクエア映像をM×M画素にダウンコンバートした後、ダウンコンバート後の映像の左端及び右端から、{(M-N/2)/2}×M画素の領域を取り除いて(N/2)×M画素の第5の映像を生成することと、前記第4の映像と前記第5の映像とを左右に並べて合成したワイド映像を生成することと、をさらに含む、
撮像制御方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019099338A JP7360819B2 (ja) | 2019-05-28 | 2019-05-28 | 撮像装置、及び撮像制御方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019099338A JP7360819B2 (ja) | 2019-05-28 | 2019-05-28 | 撮像装置、及び撮像制御方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020195051A JP2020195051A (ja) | 2020-12-03 |
JP7360819B2 true JP7360819B2 (ja) | 2023-10-13 |
Family
ID=73546580
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019099338A Active JP7360819B2 (ja) | 2019-05-28 | 2019-05-28 | 撮像装置、及び撮像制御方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7360819B2 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004506285A (ja) | 2000-08-07 | 2004-02-26 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 高速デジタルパンチルトズームビデオ |
WO2010101434A2 (en) | 2009-03-05 | 2010-09-10 | Core Logic Inc. | Apparatus and method of generating panoramic image and computer-readable recording medium storing program for executing the method |
JP2015061125A (ja) | 2013-09-17 | 2015-03-30 | 日本電信電話株式会社 | 画像撮影装置及び画像撮影方法 |
US20170339324A1 (en) | 2016-05-17 | 2017-11-23 | Nctech Ltd | Imaging system having multiple imaging sensors and an associated method of operation |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04326267A (ja) * | 1991-04-25 | 1992-11-16 | Toshiba Corp | X線テレビ装置 |
JP3791696B2 (ja) * | 1992-04-09 | 2006-06-28 | オリンパス株式会社 | 画像表示装置 |
-
2019
- 2019-05-28 JP JP2019099338A patent/JP7360819B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004506285A (ja) | 2000-08-07 | 2004-02-26 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 高速デジタルパンチルトズームビデオ |
WO2010101434A2 (en) | 2009-03-05 | 2010-09-10 | Core Logic Inc. | Apparatus and method of generating panoramic image and computer-readable recording medium storing program for executing the method |
JP2015061125A (ja) | 2013-09-17 | 2015-03-30 | 日本電信電話株式会社 | 画像撮影装置及び画像撮影方法 |
US20170339324A1 (en) | 2016-05-17 | 2017-11-23 | Nctech Ltd | Imaging system having multiple imaging sensors and an associated method of operation |
Also Published As
Publication number | Publication date |
---|---|
JP2020195051A (ja) | 2020-12-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5593004B2 (ja) | 内視鏡システム | |
JP5315482B1 (ja) | 内視鏡システム | |
JP6139713B2 (ja) | デュアルアパーチャズームデジタルカメラ | |
JP5594067B2 (ja) | 画像処理装置および画像処理方法 | |
US20230292002A1 (en) | Frame synchronization in a dual-aperture camera system | |
WO2014175044A1 (ja) | 撮像装置及び撮像システム | |
US20090002520A1 (en) | Imaging apparatus, imaging method, storage medium storing program, and integrated circuit | |
JP6027242B2 (ja) | 撮像装置 | |
EP2577977A1 (en) | Two sensor imaging systems | |
US20230200624A1 (en) | Medical signal processing apparatus and medical observation system | |
JP2012199621A (ja) | 複眼撮像装置 | |
JP2011135294A (ja) | カメラシステム及びカメラ制御方法 | |
JP5781021B2 (ja) | レンズ装置および撮像装置 | |
JP7012549B2 (ja) | 内視鏡装置、内視鏡装置の制御方法、内視鏡装置の制御プログラム、および記録媒体 | |
JP2020036128A (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
KR101626447B1 (ko) | 렌즈 왜곡과 색수차를 보정하는 장치, 방법, 및 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능 매체 | |
JP2011135293A (ja) | カメラアダプタ装置及びカメラ制御方法 | |
JP7360819B2 (ja) | 撮像装置、及び撮像制御方法 | |
CN113660425A (zh) | 图像处理方法、装置、电子设备及可读存储介质 | |
US9661284B2 (en) | Solid state imaging apparatus and imaging method | |
JP2011151549A (ja) | 信号処理装置、撮像装置、及び信号処理方法 | |
JP2016206310A (ja) | 撮像装置およびその制御方法 | |
JP2015216423A (ja) | 撮像装置およびその制御方法ならびにプログラム | |
JP2006350017A (ja) | 撮像装置 | |
JP2023139649A (ja) | 内視鏡システム及びその作動方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220428 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230314 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230328 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230420 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230516 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230615 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230919 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231002 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7360819 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |