JP7025073B1 - 動き情報撮像装置 - Google Patents
動き情報撮像装置 Download PDFInfo
- Publication number
- JP7025073B1 JP7025073B1 JP2021107143A JP2021107143A JP7025073B1 JP 7025073 B1 JP7025073 B1 JP 7025073B1 JP 2021107143 A JP2021107143 A JP 2021107143A JP 2021107143 A JP2021107143 A JP 2021107143A JP 7025073 B1 JP7025073 B1 JP 7025073B1
- Authority
- JP
- Japan
- Prior art keywords
- information
- motion
- pixel
- output
- difference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 596
- 238000003384 imaging method Methods 0.000 claims abstract description 59
- 238000006243 chemical reaction Methods 0.000 claims description 26
- 238000012935 Averaging Methods 0.000 claims description 6
- 230000003287 optical effect Effects 0.000 claims description 4
- 239000003086 colorant Substances 0.000 claims 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 claims 1
- 238000012634 optical imaging Methods 0.000 claims 1
- 239000013598 vector Substances 0.000 abstract description 118
- 238000000034 method Methods 0.000 abstract description 73
- 238000010586 diagram Methods 0.000 abstract description 36
- 239000000284 extract Substances 0.000 abstract description 2
- 238000012545 processing Methods 0.000 description 82
- 238000000605 extraction Methods 0.000 description 65
- 230000006870 function Effects 0.000 description 18
- 238000000926 separation method Methods 0.000 description 13
- 230000004069 differentiation Effects 0.000 description 12
- 230000015572 biosynthetic process Effects 0.000 description 10
- 230000035945 sensitivity Effects 0.000 description 10
- 238000003786 synthesis reaction Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 9
- 230000008859 change Effects 0.000 description 7
- 230000008901 benefit Effects 0.000 description 5
- 239000000203 mixture Substances 0.000 description 5
- 230000000630 rising effect Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 208000031872 Body Remains Diseases 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 239000011295 pitch Substances 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000009966 trimming Methods 0.000 description 2
- 230000009012 visual motion Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/254—Analysis of motion involving subtraction of images
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
Abstract
Description
と本発明の実施形態に係る撮像装置は上記のように幾つかのケースに分かれるので、それぞれのケースで図面を参照しながら説明する。これらのケースの組み合わせもあるが、各ケース単独と、代表的な組み合わせに絞り説明を行う。
以下説明内において同一部分には同一の符号及び処理名を付し、最初にその詳細な説明をし、重複する同一部分の説明は省略する。
図1では、本発明の撮像装置として撮像カメラを例にとり、実施形態1に係る撮像画面より動き輪郭(動体のサイズ)情報、動きベクトル(動きの方向、速度)情報を抽出するための概略構成を示すブロック図を示している。
本発明の撮像カメラ1を構成するブロックは、撮像レンズ2を備えた固体撮像装置3と、動き輪郭抽出部4、端部抽出部5、動きベクトル抽出部6から構成されている。動きベクトル出力部6からは動きベクトル情報7が出力される。既存の固体撮像装置を使用した場合には固体撮像装置3からは撮像情報8が出力され、動き輪郭抽出部4、端部抽出部5に入力する。動き輪郭抽出部4からは動き輪郭情報9が、端部抽出部5からは端部情報10が、それぞれ出力され、いずれも動きベクトル抽出部6に入力される。動き輪郭情報9や、端部情報10も動体に関する情報であり、動きベクトル情報は通常、動きの方向や、速度のみを指すことが多いが、ここでは、情報動きベクトル情報7の中には、動きの方向、速度だけでなく、動体のサイズや形状も含むものとし、これらを動き情報と表現する。
まず図1に示される撮像情報8より動き輪郭抽出部4で動き輪郭情報9を取得する方法に付き、図2を基に説明する。図2は動き輪郭抽出部4を構成するブロックとそれらに関連する情報の流れを示した図である。動き輪郭抽出部4は、画素差分処理部11、動き輪郭2値化部12から構成されている。
情報の流れとしては、固体撮像装置1から出力された撮像情報8が画素差分処理部11に入力され、露光時刻の異なる画素間の差分演算を行い、画素差分情報15を出力する。
画素差分情報15は画素対応で差分を取得しているので、静止領域は同じ出力値の差分となりゼロになる。動きがある場合に動体の出力値に変化がある領域では差分を取得した際にゼロにならない。具体的には、動体パターンの内部で明暗が均一である場合には、フレーム間の差分で内部はゼロになり、動体パターンの周辺部で変化があればゼロにならない。即ち動体の輪郭パターンが残る。
画素差分情報15は2枚のフレーム間の画素対応差分で取得しており符号を有する。画素差分情報15が絶対値回路16を経由した以降は、画素差分情報15は絶対値情報になり、動き輪郭判定回路18にて閾値17と比較し、2値化して取得した動き輪郭情報9を、動き輪郭抽出部4より出力する。
まず図1に示される撮像情報8より端部抽出部5で端部情報10を取得する方法に付き、図3を基に説明する。図3は端部抽出部5を構成するブロックとそれらに関連する情報の流れを示した図である。端部抽出部5は、画素微分処理部19、端部2値化部20から構成されている。
情報の流れとしては、固体撮像装置1から出力された撮像情報8が画素微分処理部19に入力され、同色の隣接画素間の差分演算を行い、画素微分情報23を出力する。
前者の場合には、同色画素間の差分を取るので、図3に示したビットメモリで良いが、後者の場合には隣接する走査線間の差分を取るのでラインメモリが必要になる。図3で示すビットメモリ21には、このラインメモリの概念も含まれている。
画素微分情報23は同色の隣接画素間の差分で取得しており符号を有する。画素微分情報23が絶対値回路24を経由した以降は、画素微分情報23は絶対値情報になり、端部判定回路26にて閾値25と比較し、2値化して取得した端部情報10を、端部抽出部5より出力する。
図3に示す端部抽出部5には、図2の動き輪郭抽出部4にあったフレームメモリ13は存在しない、従って画素微分情報23、端部情報10は撮像情報8の原画像(最も新しい画像情報)に対しての出力である。
図1に示される動き輪郭抽出部4からの動き輪郭情報9と、端部抽出部5からの端部情報10とから、動きベクトル抽出部6で動きベクトル情報7を取得する方法に付き、図4を基に説明する。図4は動きベクトル抽出部6を構成するブロックと、それらに関連する情報の流れを示した図である。動きベクトル抽出部6は、動き端部判定部27、動き方向判定部28、動き速度演算部29、動きベクトル出力部30から構成されている。
この際に、端部抽出部5にはフレームメモリ13が無いので、現画像が撮影情報8になる。従って動き端部判定部27から出力される動き端部情報31は、最新の動き端部位置になる。これを動き輪郭情報9に重畳回路35で重畳させることで、最新の動き端部方向に動いているかが分かり、動き方向情報32が取得できる。
図4の動きベクトル抽出部6内の動きベクトル出力部30の説明を行っていないが、以上の各ブロックでの実際の処理に付いて例を基に説明し、更に固体撮像装置を用いた撮像装置の説明を行ってから動きベクトル出力部30の説明を行う。以下に簡易的な移動物体の動きを例にして、それぞれのブロックでどの様な処理が行われるかを説明していく。
また前画面と現画面の時間差(通常は1フレームの読み出し時間に相当)をΔTで表記している。図8(b)では同様に、前画面と現画面の時間差ΔTの間に、移動物体の端部位置(立ち上がり位置)が画素数分だけ移動することを意味しており、ΔTの間に進む画素数ということで、便宜上図8(b)の立ち上がり位置のズレをΔTで表記した。
図8のケースでは、図8(d’)に示す端部情報と、図8(c’)に示す動き輪郭情報の論理積が、動き端部情報として出力され、図8(d”)にその結果を示す。注目すべきは、ケース(4)の移動物体が静止している場合では、物体の端部が消えることである(図8(d”)、ケース(4)を参照)。移動物体の原画像の動きの端部のみ残る(図8(d”)、ケース(1)~ケース(3)を参照)。
図8のケースでは、図8(d”)に示す動き端部情報と、図8(c’)に示す動き輪郭情報の論理和が、動き方向情報として出力され、図8(e)にその結果を示す。図8(e)では動き端部情報を斜線ブロックで示しており、残りの輪郭情報と区別して表示している。
図8(a)のケース(1)~ケース(3)の移動方向に対し、移動物体が背景よりも明るいか、暗いかに関わらず、正しく方向を表示している(図8(e)、ケース(1)~ケース(3)を参照)。ケース(4)の移動物体が静止していると、動き方向情報は出てこない(図8(e)、ケース(4)を参照)。
この様に、動き方向情報32には一定時間内で移動する画素数幅の情報と、斜線ブロックで示した直近の動き端部情報が含まれており、動きの方向と速度が画面上で表現でき、視覚的な動きベクトル画像となる。
図2に示す撮像情報8より、画素差分処理部11にてフレームメモリ13を用いて画素差分情報15を取得し、更に動き輪郭2値化部12にて動き輪郭情報9を取得する方法に付き、具体的な被写体のケースで図9(a)、(b)を基に説明する。
図9(b1)、(b2)で動体39’、39は画素出力の立上り、立下りに傾斜が付いているが、これは図8(b)の画素出力波形の傾斜と同じ理由である。
図9(b4)は走査線40上の動き輪郭情報であるが、平面的なイメージとしては図9(a4)で示されるように、動体画像39の周囲に動き輪郭情報9’、9”が領域として示される。この動き輪郭情報9’、9”から動体の概略の外形形状が分かる。
図3に示す撮像情報8より、画素微分処理部19にてビットメモリ21を用いて画素微分情報23を取得し、更に端部2値化部20にて端部情報10を取得する方法に付き、具体的な被写体のケースで図10(a)、(b)を基に説明する。図3にはフレームメモリ13が無いので、処理すべき撮像情報8は原画像となる。従って、具体的な撮影画像としては図9(a0)の現画像を用いて説明する。図10(a1)の原画像では動体画像は39で示される。
図8(c’)の動き輪郭情報の説明の際に、動き輪郭情報の幅はΔT+Δtの間で進む移動距離に対応する。との説明をしたが、図6に示される動き方向判定部28の出力の動き方向情報32は、図7に示される動き速度演算部29の動き速度処理部36に入力し、動き速度の演算を行う。ここでは、図11(a)、(b)、(c)を基に、具体的な被写体のケースで動きの速度を取得する方法に付き説明する。
図1に示す本発明の撮像カメラ1で、実施形態1との違いは固体撮像装置3の構成と、動き輪郭抽出部4のブロックである。他の撮像レンズ2、端部抽出部5、動きベクトル抽出部6の個所は変わらない。また情報の流れも変わらない。また同じ機能の部分には同一の符号及び処理名を付し、若干の機能の違いは同じ番号にしてダッシュを付加する。
図12はフレームメモリを使用しないケースを示している。このケースで使用される固体撮像装置3’は図13、図14に示すような露光時間の異なる2種類の画素45から構成されるので、図1の固体撮像装置3と区別して表記する。このケースでは画素差分処理部11’は分離回路43、増幅回路44、及び差分回路14’(図2のフレームメモリのケースと区別した)で構成される。固体撮像装置3’(図2のフレームメモリ13を使う固体撮像装置3と区別した)から出力される撮像情報8の中には、長時間露光画素(以降の図中でSTLと示す)からの撮像情報である撮像STLと、短時間露光画素(以降の図中でSTSと示す)からの撮像情報である撮像STSが混在している。分離回路43ではこの2種類の撮像情報を分離し、増幅回路44で短時間露光画素の撮像STSを増幅し、差分回路14’で長時間露光画素の撮像STLとの差分を取ることで画素差分情報15’(図2のフレームメモリのケースと区別した)を取得する。
図13(a)に示される固体撮像装置3’の画素構成としては、短時間露光画素STSと長時間露光画素STLが配置されている。それぞれの撮像信号は撮像STS、撮像STLと表記し区別する。両者の画素45の画素出力特性としては図13(b)に示すように、時間の経過とともに画素出力が増える傾き(感度に相当する)が同じケースを示しており、露光時間に見合った画素出力が得られ、撮像情報8として出力される。図13(b)では短時間露光画素STSと長時間露光画素STLは同じ感度なので、それぞれに対応した露光時間TSとTLに比例して画素出力が異なる。図13(a)では1走査線毎に出力するとする。
また、動体パターンの内部で明暗が均一である場合には、動体パターン内部は静止画と同様になりゼロとなり、動体の輪郭パターンが残る。このように画素差分情報15’は動体の輪郭情報を含んでいる。
図14(a)に示される固体撮像装置3’の画素45’,45”の構成としては、短時間露光画素45’(図中STSと示す)と長時間露光画素45”(図中STLと示す)が配置されているが、両者の画素のサイズが異なり感度が異なる。短時間露光画素STSの感度をSSとし、長時間露光画素STLの感度をSLとすると、両者の感度比;SS/SLを、両者の露光時間比;TS/TLの逆数にしたケースでは、その画素出力特性は図14(b)に示すようになり、短時間露光画素STSと長時間露光画素STLの画素出力が揃う。
図12の動き輪郭抽出部4’は図2の動き輪郭抽出部4と少し異なるので、図15で説明する。図15でも図8と同様なケースで、動きベクトル情報に至るまでの途中ステップを図15で順次説明する。
画素差分情報としては、図15(c)ではSTSとSTLの差分(=STS-STL)を取っているが、これは図8(c)の原画像-前画像と同様に、現画像に近いSTSから、より前画像に近い情報を含むSTLを減算している。
図15のケースでは、図15(d’)に示す端部情報と、図15(c’)に示す動き輪郭情報の論理積が、動き端部情報として出力され、図15(d”)にその結果を示す。注目すべきは、ケース(4)の移動物体が静止している場合では、物体の端部が消えることである(図15(d”)、ケース(4)を参照)。移動物体のSTSの動きの端部のみ残る(図15(d”)、ケース(1)~ケース(3)を参照)。
図15のケースでは、図15(d”)に示す動き端部情報と、図15(c’)に示す動き輪郭情報の論理和が、動き方向情報として出力され、図15(e)にその結果を示す。図15(e)でも直近の動き端部情報を斜線ブロックで示しており、残りの輪郭情報と区別して表示している。
図12に示す固体撮像装置3’からの撮像情報8より、画素差分処理部11’にて長時間露光画素STLからの撮像情報である撮像STLと、短時間露光画素STSからの撮像情報である撮像STSを分離回路43で分離し、増幅回路44で短時間露光画素の撮像STSを増幅し、差分回路14’で長時間露光画素の撮像STLとの差分を取ることで画素差分情報15’を取得し、更に動き輪郭2値化部12にて動き輪郭情報9を取得する方法に付き、具体的な被写体のケースの図16(a)、(b)を基に説明する。図9(a)、(b)と類似なので重複する箇所は省いて説明する。
図14(b)で示すように、露光時間はSTLの方が、STSよりも長いので、STL画素の動体画像39”の移動方向の長さの方が、STS画素の動体画像39の移動方向の長さよりも長くなる。
図16(b4)は走査線40上の動き輪郭情報9’、9”であるが、平面的なイメージとしては図16(a4)で示されるように、動体画像39の周囲に動き輪郭情報9’、9”が領域として示される。この動き輪郭情報9’、9”から動体の概略の外形形状が分かることは図9(a4)と同様である。
撮像装置としては撮像カメラ1で説明を行ってきたが、次に撮像装置の実施形態3とし、撮像装置として図17に示す固体撮像装置3”の説明を行う。
図1の撮像カメラ1では図12の固体撮像装置3’から装置から出力される撮像情報8を、動き輪郭抽出部4、端部抽出部5、動きベクトル抽出部6で処理した後に、動きベクトル情報7として外部に出力していた。これに対し図17で示す固体撮像装置3”は、画素部45、動き輪郭抽出部4、端部抽出部5、動きベクトル抽出部6を内部に包含する。図17はそれらのブロック図である。この固体撮像装置3”と称し、図1の固体撮像装置3、図12の固体撮像装置3’と区別する。図17に示す固体撮像装置3”はフレームメモリを使用しないケースであり、画素部45は図13もしくは図14で示される露光時間の異なる2種類の画素45から構成される。それ以外のブロックの機能は図1の撮像カメラ1のブロックの機能と同じであり、個々のブロックの説明は省略する。
重畳回路35からの出力の動き方向情報32には、動きの方向(動き端部情報)と、動きの速度(輪郭の幅情報)が含まれており、動きベクトル出力部30を経て、簡易動きベクトル情報7’として外部に出力することも可能である。
タイミング発生回路48で発生したマスタークロックを基に、画素での露光制御、垂直走査、水平走査を行う。露光制御方法としては、図13、図14で説明した長時間露光画素STLと短時間露光画素STSの、それぞれの露光時間TL、TSを露光時間生成回路49にて生成し、垂直走査回路50を介して画素部45を制御する。
これは画素単位で短時間露光画素STSと長時間露光画素STLの差分を取ると、静止物体の場合でも輪郭部では差分がゼロにならない不具合(エッジノイズ)が発生するが、平均化することにより輪郭部のエッジノイズが大幅に抑制でき利点を生じる。
従来の動き分析では固体撮像装置から出力される膨大な画像情報を、画素単位でリアルタイムに処理するには、後段処理回路に大きな画像処理負荷が必要となり、バッテリー駆動は困難であった。
本方式では、画素数見合いの情報量が大幅に減り(上記例では2桁)、さらに2値化した動き輪郭情報9を処理することで、画素単位の情報量も大幅に減る(例えば8ビット⇒1ビット)ことも大きな利点である。
この際に、動き速度演算部29を省略して動きベクトル情報7を出さず、動きベクトル情報7’のみ出力させる変形も可能である。
消費電力が上がるが、水平画素走査回路57とカラー処理部58は、常に駆動させておいても良い。この場合には、必要と判断されたカラー映像情報59を加算付加回路61で加算付加し、映像出力回路62より映像情報63を出力させる。
図19のカラー処理部58を省略しカラー映像情報59は出力させず、動きベクトル情報7、簡易動きベクトル情報7’のみを出力する固体撮像装置でも良い。
更に図20のカラー処理部58を省略しカラー映像情報59は出力させず、簡易動きベクトル情報7’のみを出力する固体撮像装置でも良い。
以上の説明では、撮影時刻の異なる2枚の画像を用いて動き輪郭情報を抽出し、動体の方向判定を行ってきた。本発明は、撮影時刻の異なる3枚の画像を用いても同様に行うことが出来る。以下にフレームメモリを使用するケースとしないケースの2つのケースにつき説明する。
図21(a)はフレームメモリ13を使用するケースを示しており、画素差分処理部11の構成は、図2の画素差分処理部11と同じであり、同じ記号を使用している。動き輪郭2値化部12’の構成は、図2の動き輪郭2値化部12にフレームメモリ13’と合成部64が追加される。合成部64からは、合成された動き輪郭情報9+が出力される。
次のタイミングにて、画素差分情報3-2が絶対値回路35、動き輪郭判定回路36を経て、動き輪郭情報(3-2)として出てくるが、ここで合成部74にて動き輪郭情報(2-1)、動き輪郭情報(3-2)を合体した動き輪郭情報9+を取得する。
図22(a4)はフレーム3とフレーム2より求めた画素差分情報(3-2)であり、動体画像39’、39”端部に相当する場所に、符号が異なる画素差分情報15”、15”’が出力する。画素差分情報15”、15”’は絶対値情報になり、閾値17と比較し、図22(a5)に示す2値化された“1”に対応する9”、9”’で示される動き輪郭情報(3-2)が同様なステップで得られる。
合成部64で合成された結果を図22(b)で示す。動き輪郭情報(2-1)、動き輪郭情報(3-2)の0か1に対応し、動き輪郭情報9+は各場所が(0、0)、(1,0)、(0,1)、(1,1)に4分類される。
また領域(1,0)、(0,1)の幅が速度に関連し、フレーム間の時間に移動した距離に対応する。速度をX方向、Y方向に分解すると図22(d)で示した手法で方向の角度成分が求められる。これは図11(d)と同じ手法である。動き輪郭情報の外形寸法は動体のサイズに関係する。外形サイズには速度分が入るので、速度を差し引くとサイズが求まる。
図23(a)、(b)、(c)でフレームメモリを使用しないケースの動き輪郭情報の取得方法について説明する。使用される固体撮像装置としては、図23(a)に示すように、異なる3種類の露光時間を有する画素45が配列された構成である。この3種類の露光時間の画素を短時間露光画素STS;45’、中時間露光画素STM;45”、長時間露光画素STL;45”’で表記する。
説明は行わないが4種類以上の露光時間を有する画素で、細かい動き解析を行う発展形もある。
この動き輪郭情報9+には、動体の主要な情報である、方向、速度、大きさの情報が含まれており、その抽出方法も上述したように複雑な演算が不要である。
このため図18で示すように固体撮像装置3”と同じ基板上にオンチップで本願の上記処理回路を搭載ができてシステムの大幅な簡素化、低消費電力化が可能となる。
2 撮像レンズ
3、3’、3” 固体撮像装置
4、4’ 動き輪郭抽出部
5 端部抽出部
6 動きベクトル抽出部
7 動きベクトル情報
8 撮像情報
9、9’、9”、9”’、9””、9+、2-1,3-2 動き輪郭情報
10 端部情報
11、11’ 画素差分処理部
12 動き輪郭2値化部
13、13’ フレームメモリ
14、14’、14”、14”’、22 差分回路
15、15’、15”、15”’ 画素差分情報
16、16’24 絶対値回路
17、25 閾値
18、18’、18” 動き輪郭判定回路
19 画素微分処理部
20 端部2値化部
21 ビットメモリ
23 画素微分情報
26 端部判定回路
27 動き端部判定部
28 動き方向判定部
29 動き速度演算部
30 動きベクトル出力部
31 動き端部情報
32、動き方向情報
33、動き速度情報
34、AND回路
35、重畳回路
36、動き速度処理部
37 動き速度換算部
38 換算表
39、39’、39” 動体
40 走査線
41 センターライン
42 道路
43 分離回路
44、44’、44” 増幅回路
45 画素、45’ STS画素、45” STL画素、45”’ STM画素
46 ラインメモリ
47 遅延回路(DL)
48 タイミング発生回路
49 露光時間生成回路
50 垂直走査回路
51 垂直並列制御回路
52 水平走査回路
53 水平合成回路
54 CDS回路(カラム型ノイズキャンセル回路)
55 ADC回路(カラム型アナログデジタルコンバータ回路)
56 ラインメモリ
57 水平画素走査回路
58 カラー処理部
59 カラー映像情報
60 出力判断部
61 加算回路
62 映像出力回路
63、映像情報
64、64’ 合成部
65 動き速度情報表示部
66 動き方向情報表示部
67 動き速度演算・表示部
68 動き方向演算・表示部
Claims (9)
- 光学的結像手段で結像した被写体の光信号を電気信号に変換する複数の光電変換素子単位である画素を有する画素部と、
前記画素部で撮影した撮影時刻の異なる少なくとも2つの撮影信号間の差分信号を生成する手段と、
静止した被写体からの撮影信号からは、前記差分信号が生じないように調整する手段と、
前記画素部で撮影した現時点に近い撮影時刻での撮影信号の、同色隣接画素間の微分信号を生成する手段と、
前記差分信号と、前記微分信号との論理積をとる手段と、
前記差分信号と、前記論理積との論理和を取る手段と、
移動物体の動きの情報を演算し、出力する手段と、
を有することを特徴とする動き情報撮像装置。
- 前記、移動物体の動きの情報を演算し、出力する手段として、被写体の実際の寸法と画素部での画素数との対応関係より換算表を事前に作成し、換算表を用いて動体の実際の速度やサイズの内少なくとも1つ以上を演算し、動き情報として出力したことを特徴とする請求項1に記載の動き情報撮像装置。
- 前記、移動物体の動きの情報を演算し、出力する手段として、前記差分信号と、前記論理積との論理和に基づいて得られた動体の移動方向、前記差分信号の外枠の幅に基づいて得られた速度、又は前記論理積の形状に基づいて得られた前記動体の形状とサイズのうち少なくとも1つ以上を、撮像画面上に表示色又は表示画素数のうち少なくとも一つ以上を用いて出力したことを特徴とする請求項1に記載の動き情報撮像装置。
- 前記画素部で撮影した撮像時刻の異なる少なくとも2つの撮影信号間の差分信号を生成する手段として、フレームメモリを使用し、撮影時刻の異なるフレーム間の画像差分を行うことで実現したことを特徴とする請求項1に記載の動き情報撮像装置。
- 前記画素部で撮影した撮像時刻の異なる少なくとも2つの撮影信号間の差分信号を生成する手段として、フレームメモリを使用し、撮影時刻の異なるフレーム間の画像差分を行う際に、撮影時刻の異なるフレーム間で、撮像装置が移動したことにより、静止した被写体の画素位置がずれた場合には、
このずれた量だけ画素位置をずらして画像差分を行うことで、静止した被写体からの撮影信号から差分信号が生じないように、調整したことを特徴とする請求項4に記載の動き情報撮像装置。
- 前記画素部で撮影した撮像時刻の異なる少なくとも2つの撮影信号間の差分信号を生成する手段として、画素部で2次元に配置した画素を少なくとも2分割し、露光時間の長さを異ならせて制御する露光時間制御手段と、
静止した被写体の撮影信号からは、差分信号が生じないように調整した、前記露光時間の異なる前記撮影信号間の差分信号を生成する差分信号生成手段と、
で実現したことを特徴とする請求項1に記載の動き情報撮像装置。
- 動き情報を出力する動き情報撮像装置において、前記画素部で撮影した撮影時刻の異なる少なくとも2つの撮影信号間の差分信号を生成する手段として、同条件の複数の近接画素の撮影信号の平均化を行い、平均化した撮影信号間の差分信号を生成する手段である、ことを特徴とする請求項1に記載の動き情報撮像装置。
- 動き情報撮像装置は撮像カメラであることを特徴とする請求項1に記載の動き情報撮像装置。
- 動き情報撮像装置は固体撮像装置であることを特徴とする請求項1に記載の動き情報撮像装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021107143A JP7025073B1 (ja) | 2021-06-28 | 2021-06-28 | 動き情報撮像装置 |
PCT/JP2022/022753 WO2023276564A1 (ja) | 2021-06-28 | 2022-06-06 | 動き情報撮像装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021107143A JP7025073B1 (ja) | 2021-06-28 | 2021-06-28 | 動き情報撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP7025073B1 true JP7025073B1 (ja) | 2022-02-24 |
JP2023005320A JP2023005320A (ja) | 2023-01-18 |
Family
ID=81124375
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021107143A Active JP7025073B1 (ja) | 2021-06-28 | 2021-06-28 | 動き情報撮像装置 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7025073B1 (ja) |
WO (1) | WO2023276564A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7449019B1 (ja) | 2023-09-08 | 2024-03-13 | 株式会社SEtech | 撮像装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3521109B2 (ja) | 1997-02-17 | 2004-04-19 | シャープ株式会社 | 動き検出用固体撮像装置 |
JP2004295775A (ja) | 2003-03-28 | 2004-10-21 | Minolta Co Ltd | 画像認識装置および画像認識プログラム |
JP2015070359A (ja) | 2013-09-27 | 2015-04-13 | 株式会社京三製作所 | 人数カウント装置 |
US10497107B1 (en) | 2019-07-17 | 2019-12-03 | Aimotive Kft. | Method, computer program product and computer readable medium for generating a mask for a camera stream |
JP2020030768A (ja) | 2018-08-24 | 2020-02-27 | 国立大学法人岩手大学 | 移動物体検出装置および移動物体検出方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2697072B2 (ja) * | 1989-01-26 | 1998-01-14 | 富士通株式会社 | 動画像の物体追跡装置 |
JPH03231586A (ja) * | 1990-02-07 | 1991-10-15 | Hitachi Ltd | 画像信号の動き情報検出回路 |
JP3812985B2 (ja) * | 1997-04-04 | 2006-08-23 | 富士通株式会社 | 自動監視装置 |
JP4157579B2 (ja) * | 2006-09-28 | 2008-10-01 | シャープ株式会社 | 画像表示装置及び方法、画像処理装置及び方法 |
JP2009100017A (ja) * | 2007-10-12 | 2009-05-07 | Sony Corp | 画像処理装置及び方法、並びにプログラム |
JP5747238B2 (ja) * | 2012-12-07 | 2015-07-08 | 関根 弘一 | 動き検出用固体撮像装置及び動き検出システム |
JP2017030380A (ja) * | 2015-07-29 | 2017-02-09 | 株式会社京三製作所 | 列車検知システムおよび列車検知方法 |
-
2021
- 2021-06-28 JP JP2021107143A patent/JP7025073B1/ja active Active
-
2022
- 2022-06-06 WO PCT/JP2022/022753 patent/WO2023276564A1/ja active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3521109B2 (ja) | 1997-02-17 | 2004-04-19 | シャープ株式会社 | 動き検出用固体撮像装置 |
JP2004295775A (ja) | 2003-03-28 | 2004-10-21 | Minolta Co Ltd | 画像認識装置および画像認識プログラム |
JP2015070359A (ja) | 2013-09-27 | 2015-04-13 | 株式会社京三製作所 | 人数カウント装置 |
JP2020030768A (ja) | 2018-08-24 | 2020-02-27 | 国立大学法人岩手大学 | 移動物体検出装置および移動物体検出方法 |
US10497107B1 (en) | 2019-07-17 | 2019-12-03 | Aimotive Kft. | Method, computer program product and computer readable medium for generating a mask for a camera stream |
Also Published As
Publication number | Publication date |
---|---|
JP2023005320A (ja) | 2023-01-18 |
WO2023276564A1 (ja) | 2023-01-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9325918B2 (en) | Image processing apparatus, imaging apparatus, solid-state imaging device, image processing method and program | |
KR101428427B1 (ko) | 고 다이나믹 레인지 이미지의 캡처 및 렌더링 | |
US7844134B2 (en) | Image processor and camera system for correcting image distortion | |
US20100007754A1 (en) | Image processing device, electronic camera and image processing program | |
JP3035920B2 (ja) | 動体抽出装置及び動体抽出方法 | |
US20100295932A1 (en) | Image obtaining apparatus, image synthesis method and microscope system | |
EP1255410A3 (en) | System and method for capturing color images that extends the dynamic range of an image sensor | |
JP7025073B1 (ja) | 動き情報撮像装置 | |
WO2010089836A1 (ja) | 画像処理装置 | |
JP2007243917A (ja) | 撮像装置および画像処理プログラム | |
WO1992010810A1 (fr) | Procede de correction de tache et dispositif a cet effet | |
JP4356134B2 (ja) | 画像処理装置及び画像処理方法 | |
JPH09101236A (ja) | 表示欠陥検査装置および表示欠陥検査方法 | |
JP2014147047A (ja) | 画像処理装置、方法、及びプログラム、並びに撮像装置 | |
JP2022029717A (ja) | 撮像装置 | |
JP2011041041A (ja) | 撮像装置、撮像方法及びプログラム | |
JP3386491B2 (ja) | 自動合焦方式 | |
JP3783881B2 (ja) | 車両検出方法およびこれを用いた車両検出装置 | |
JP3465910B2 (ja) | 自動合焦方式 | |
JP3333050B2 (ja) | 形状測定方法及び形状測定装置 | |
JP2995930B2 (ja) | 画像処理装置 | |
JP2007028352A (ja) | 撮像装置 | |
JP3575971B2 (ja) | 目標検出装置及び目標検出方法 | |
JP2023080960A (ja) | 撮像装置、制御方法、プログラム及び記憶媒体 | |
JP2573737B2 (ja) | 画像認識装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210628 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20210628 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211026 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211125 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220201 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220203 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7025073 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |