JP7459946B2 - 重要領域設定装置、符号化装置、重要領域の設定方法及びプログラム - Google Patents

重要領域設定装置、符号化装置、重要領域の設定方法及びプログラム Download PDF

Info

Publication number
JP7459946B2
JP7459946B2 JP2022539930A JP2022539930A JP7459946B2 JP 7459946 B2 JP7459946 B2 JP 7459946B2 JP 2022539930 A JP2022539930 A JP 2022539930A JP 2022539930 A JP2022539930 A JP 2022539930A JP 7459946 B2 JP7459946 B2 JP 7459946B2
Authority
JP
Japan
Prior art keywords
important area
camera
important
area
traffic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022539930A
Other languages
English (en)
Other versions
JPWO2022024332A1 (ja
JPWO2022024332A5 (ja
Inventor
一気 尾形
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2022024332A1 publication Critical patent/JPWO2022024332A1/ja
Publication of JPWO2022024332A5 publication Critical patent/JPWO2022024332A5/ja
Application granted granted Critical
Publication of JP7459946B2 publication Critical patent/JP7459946B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/04Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/22Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167Position within a video image, e.g. region of interest [ROI]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、重要領域設定装置、符号化装置、ネットワークカメラ、重要領域の設定方法及びプログラム記録媒体に関する。
特許文献1に交差点付近の交通事故の原因調査や渋滞状況の把握、その解消、あるいは信号無視等の違反車両の検出等を行うための交通監視用テレビシステムが開示されている。同文献には、交通信号灯の信号の状況情報と交差点に設けた監視用TVカメラからの映像の少なくとも2つの情報を関連付けて得るようにし、交通信号灯の点灯状況をTVカメラの画面内に表示するようにした構成が開示されている。
特許文献2には、符号化対象の画像に対して、高画質で符号化を行う第1の領域と該第1の領域以外の第2の領域を設定し、符号化を行うことで、記憶容量を抑えることができるという符号化装置が開示されている。特許文献3には、特許文献2における第1の領域に当たる関連領域を特定する方法が開示されている。特許文献3の請求項2には、前記関連領域は、人、顔、動物、乗り物、ナンバープレート、窓、ドア、門などの対象物、又は人によって運ばれる対象物を包含しうることが記載されている。さらに、特許文献3の段落0011には、これらの関連領域には低い圧縮率を適用して符号化を行うことが記載されている。これらの種の画像中に注目領域を設ける技術は、Region Of Interest(以下、「ROI」とも記す。)として自動運転技術等でも注目されている。
一方で、第5世代移動通信システム(以下、5G)に代表されるICT(Information and Communication Technology)インフラの整備が進んでいる。これにより、特許文献1に開示されている交通管制ネットワークの実現のハードルも低くなっている。
特開平11-203590号公報 特開2014-216831号公報 特開2016-111695号公報
以下の分析は、本発明者によって与えられたものである。特許文献1に開示されているような交通監視用テレビシステムでは、接続されるカメラが多くなるほど、入手できる情報が多くなるが、その一方で、その監視負担が増えてしまうという問題点がある。例えば、特許文献1の構成では、交通管制センターのモニタ(符号51)に、監視用TVカメラから送出される映像信号が、交通信号灯パターン入りの映像信号として映し出されることになる。1人の人間が監視できる映像には限りがあるので、監視用TVカメラが増えれば増えるほど、交通管制センターの人員を増やすか、自動認識技術等を用いた対策を講じなければならないことになる。
特許文献2の構成によれば、各監視装置に対応したマスク情報(フラグ)を設定することで、符号化対象の画像に、高画質領域を設け、記憶容量を削減しているだけであり、上記した問題点を直接解決するものとはなりえない。また、特許文献3では、関連対象物を中心として関連領域を設定することが開示されているが、同構成では、関連対象物が写っている限り関連領域に設定されるため、刻々と状況が変わりうる場所に設置されたカメラの画像に適切な領域を設定できない可能性がある。
本発明は、刻々と状況が変わりうる場所に設置されたカメラで得られる画像に対し、適切に重要領域を設定できる重要領域設定装置、符号化装置、ネットワークカメラ、重要領域の設定方法及びプログラム記録媒体を提供することを目的とする。
第1の視点によれば、所定の交通信号機の灯器の点灯状態に応じて、所定のカメラの撮影可能領域中の重要領域を変更する手段と、前記カメラ又は前記カメラで撮影された画像を送信する装置に対して、前記重要領域を通知する手段と、を備える重要領域設定装置が提供される。
第2の視点によれば、上記した重要領域設定装置から通知された重要領域を用いて、所定のカメラで撮影された画像を符号化する符号化装置が提供される。
第3の視点によれば、カメラと、所定の交通信号機の灯器の点灯状態に応じて、前記カメラの撮影可能領域中の重要領域を変更する手段と、前記重要領域を用いて前記カメラで撮影した画像を符号化する手段と、を備えるネットワークカメラが提供される。
第4の視点によれば、コンピュータが、所定の交通信号機の灯器の点灯状態に応じて、前記カメラの撮影可能領域中の重要領域を変更し、前記カメラで撮影された画像を送信する装置に対して、前記重要領域を通知する、重要領域の設定方法が提供される。本方法は、カメラで撮影された画像を送信する装置に対し、重要領域を通知するコンピュータというという、特定の機械に結びつけられている。
第5の視点によれば、上記したコンピュータの機能を実現するためのコンピュータプログラムが提供される。なお、このコンピュータプログラムは、コンピュータが読み取り可能な(非トランジトリーな)記憶媒体に記録することができる。即ち、本発明は、コンピュータプログラム製品として具現することも可能である。
本発明によれば、カメラで得られる画像に対し、適切に重要領域を設定することが可能となる。
本発明の一実施形態の構成を示す図である。 本発明の一実施形態の動作を説明するための図である。 本発明の一実施形態の動作を説明するための図である。 本発明の一実施形態の動作を説明するための図である。 本発明の一実施形態の動作を説明するための図である。 本発明の第1の実施形態のシステム構成を示す図である。 本発明の第1の実施形態の交通信号制御装置が保持する設定情報の一例を示す図である。 図7の設定情報に対応する重要領域の例を示す図である。 本発明の第1の実施形態の交通信号制御装置の動作を表したフローチャートである。 本発明の第2の実施形態のシステム構成を示す図である。 本発明の第3の実施形態のシステム構成を示す図である。 本発明の第3の実施形態の交通信号制御装置が保持する設定情報の一例を示す図である。 本発明の第4の実施形態のシステム構成を示す図である。 本発明の第4の実施形態の変形例を示す図である。 本発明の第4の実施形態の変形例を示す図である。 本発明の第4の実施形態の変形例を示す図である。 本発明の第4の実施形態の変形例を示す図である。 本発明の制御装置として機能可能なコンピュータの構成を示す図である。
はじめに本発明の一実施形態の概要について図面を参照して説明する。なお、この概要に付記した図面参照符号は、理解を助けるための一例として各要素に便宜上付記したものであり、本発明を図示の態様に限定することを意図するものではない。また、以降の説明で参照する図面等のブロック間の接続線は、双方向及び単方向の双方を含む。一方向矢印については、主たる信号(データ)の流れを模式的に示すものであり、双方向性を排除するものではない。また、図中の各ブロックの入出力の接続点には、ポート乃至インタフェースがあるが図示省略する。また、以下の説明において、「A及び/又はB」は、A及びBの少なくともいずれかという意味で用いる。
本発明は、その一実施形態において、図1に示すように、ロードサイド等に設置されたカメラで撮影された画像の送信元となるサーバ200aと接続された重要領域設定装置100aにて実現できる。この重要領域設定装置100aは、重要領域変更部101aと、通知部102aと、を備える。
重要領域変更部101aは、所定の交通信号機の灯器の点灯状態に応じて、所定のカメラの撮影可能領域中の重要領域を変更する手段として機能する。
通知部102aは、前記サーバ200aに対して、前記重要領域を通知する。なお、カメラがネットワークカメラであるなど、カメラにデータ送信機能が内蔵されている場合、サーバ200aは省略可能であり、その場合、通知部102aは、カメラに変更後の重要領域を通知することになる。
図2は、信号が赤の状態における重要領域の設定例を示すための図である。図2を参照すると、カメラの撮影可能領域のうち、信号の灯器が写っている領域2つに加えて、正面方向の横断歩道の左車線側を含む領域が重要領域に設定されている。
この状態から、例えば、信号が赤から青に切り替わった場合、重要領域変更部101aは、図3に示すように、重要領域を変更する。図3の例では、信号の灯器が写っている領域について変更はないが、正面方向の横断歩道を含む領域が重要領域から外れ、交差方向の横断歩道の左車線側を含む領域が重要領域に設定されている。
重要領域設定装置100aの通知部102aは、サーバ200aに対して、前記変更後の重要領域を通知する。この重要領域の通知を受けたサーバ200aは、前記通知された重要領域を用いた画像の符号化を行う。例えば、サーバ200aは、特許文献2、3のように、重要領域について高画質で符号化を行ない、その他の領域について重要領域よりも低い画質で符号化を行う。これにより、カメラにて撮影された画像のデータを効率よく圧縮することが可能となる。なお、サーバ200aにおける重要領域の利用態様はこれに限られない。例えば、重要領域のみ切り出して送信対象とし交通管制センター等に送り、その他の領域については送信対象から除外してもよい。また、例えば、カメラにて撮影された画像に、重要領域を示す枠線を付加した状態で符号化する、画像データにメタ情報として付加する等の処理を行ってもよい。
このように設定された重要領域は、例えば、正面の信号の灯火が赤である場合、図4に示すように、交差方向の車両が右左折して横切ることになる横断歩道の部分を重要領域として記録することができる。一方、それ以外の領域については、基本的には、車両と歩行者等が交錯することはないので、非重要領域となる(信号灯火の部分を除く)。同様に、正面の信号の灯火が青である場合、図5に示すように、カメラの撮影方向と同一方向を進む車両が右左折して横切ることになる手前側の横断歩道の部分を重要領域として記録することができる。一方、それ以外の領域については、基本的には、車両と歩行者等が交錯することはないので、非重要領域となる(信号灯火の部分を除く)。このようにカメラの画像の重要領域を動的に変更することで、交通事故や交通ルールの違反が起きやすい箇所を効率よく記録することが可能となる。
[第1の実施形態]
続いて、交通信号制御装置に上記した重要領域設定装置の機能を追加した本発明の第1の実施形態について図面を参照して詳細に説明する。図6は、本発明の第1の実施形態のシステム構成を示す図である。図6を参照すると、カメラ105と、交通管制センター300と、交通信号機111とに接続された交通信号制御装置100が示されている。
交通信号制御装置100は、信号制御情報受信部101と、重要領域変更部102と、カメラ制御部103と、設定情報記憶部104と、信号制御部110とを備えている。
信号制御情報受信部101は、交通管制センター300から信号制御情報を受信し、信号制御部110と、重要領域変更部102と、に前記受信した信号制御情報を送る。
信号制御部110は、信号制御情報受信部101を介して受信した交通管制センター300からの信号制御情報に基づいて交通信号機111を制御する。このような交通信号機111は、わが国(日本)においては「集中制御機」とも呼称される。また、交差点に歩行者用信号機が設けられている場合、信号制御部110は、これら歩行者用信号機も制御することになる。以上の信号制御情報受信部101及び信号制御部110に相当する機能は、交差点等に設置されている交通信号制御装置が備えている機能と同等である。したがって、交通信号制御装置100は、交差点等に設置されている交通信号制御装置に、重要領域変更部102、カメラ制御部103及び設定情報記憶部104を追加することで実現することもできる。
重要領域変更部102は、設定情報記憶部104から読み出した設定情報と、交通管制センター300から受信した信号制御情報と、に基づいて、カメラ105の撮影可能領域中の重要領域を変更する。さらに、重要領域変更部102は、カメラ制御部103に対し、変更後の重要領域を通知する。
設定情報記憶部104は、重要領域変更部102が信号制御情報に基づいて重要領域を決定するための設定情報を記憶する。図7は、設定情報記憶部104に記憶されている設定情報の一例を示す図である。図7は、信号制御情報によって歩進する階梯番号と、重要領域を対応付けた形態の設定情報の一例を示している。図7の備考欄は、カメラ105に写っている信号灯器の灯火状態を示している。このうちの「全赤」は、交差点のすべての灯器の色が赤になっている状態を示す。図8は、図7の領域1~領域3の例を示す図である。例えば、階梯番号1のとき、信号制御部110は、図8の車両用信号及び歩行者信号を青色灯火で点灯させている。このとき、重要領域変更部102は、重要領域として領域1、領域3を選択する。領域1は、図8に示す通り、青信号で右左折する車両が横切る横断歩道の箇所に設定されている。なお、図7、図8では省略しているが、カメラ105の撮影可能領域に、反対側の横断歩道(図8の右側欄外)が入っているならば、その横断歩道のうち右左折する車両が横切る箇所も重要領域として設定してもよい。また、重要領域として設定する領域は横断歩道に限られず、適宜1つ以上の必要な個所を設定することが可能である。例えば、図8の横断歩道の箇所に加えて、路側帯の部分を重要領域4として設定することもできる。
その後、階梯が進み、階梯番号4になると、信号制御部110は、図8の車両用信号を黄色灯火に変更する。このとき、重要領域変更部102は、重要領域として領域1、領域2及び領域3を選択する。さらに、階梯が1つ進み、階梯番号5になると、信号制御部110は、図8の車両用信号を赤色灯火に変更する。このとき、重要領域変更部102は、重要領域として領域2及び領域3を選択する。以降、階梯番号6から階梯番号N-1の間は、重要領域として領域2及び領域3の選択が維持される(交差側の信号は変化している)。さらにその後、階梯番号Nになると、交差点のすべての車両用信号及び歩行者用信号が赤である全赤状態を経て、階梯番号は1に戻る。ここで、領域2は、図8に示す通り、赤信号で交差方向の道路から右左折する車両が横切る横断歩道の箇所に設定されている。なお、図7の例では領域3は、階梯の変化に関わらず、固定の重要領域として設定されている。図8の例では、領域3は交通信号機の灯器が写っている部分に設定されている。また、図7、図8では省略されているが、歩行者用信号の灯器の部分を重要領域に設定することもできる。
カメラ制御部103は、重要領域変更部102にて選択された重要領域をカメラ105に通知し、重要領域を用いた処理を行わせる。重要領域を用いた処理としては、例えば、特許文献2、3に記載されている画像の一部領域を高画質で符号化を行う符号化処理のほか、2つの領域を異なる画質で記録可能な各種の方法を挙げることができる。これにより、カメラ105と交通管制センター300間のデータ転送量と、交通管制センター300側でのデータの記憶容量を抑えることができる。重要領域を用いた別の処理としては、カメラ105にて撮影した画像に重要領域を示す枠線をオーバーレイ表示したり、メタ情報として付加したりする処理が考えられる。
交通管制センター300は、交通信号制御装置100に信号制御情報を送信し、交通信号機111を制御する。交通管制センター300は、カメラ105にて撮影された画像を収集し、渋滞や交通事故の発生の把握を行う。その際に、カメラ105にて撮影された画像には、前述の重要領域が設定されているため、交通管制センター300は必要な監視や調査を滞りなく行うことができる。
カメラ105は、例えば、図8に示す交差点内画像が得られるように、交通信号機やその近傍に設置されたカメラである。カメラ105は、カメラ制御部103から通知された重要領域を用いて、画像の符号化、画像への領域を示す枠線等の付加、メタ情報の付加等を行う機能を備えている。なお、本明細書において「画像の符号化」には、動画像の符号化も含まれる。
続いて、本実施形態の動作について図面を参照して詳細に説明する。図9は、本発明の第1の実施形態の交通信号制御装置の動作を表したフローチャートである。図9を参照すると、まず、交通信号制御装置100は、交通管制センター300から信号制御情報を受信する(ステップS001)。
信号制御情報を受信した交通信号制御装置100は、階梯番号を更新し、交通信号機111を制御する。さらに、交通信号制御装置100は、設定情報から、更新後の階梯番号に対応する重要領域を読み出す(ステップS002)。
次に、交通信号制御装置100は、カメラ105に対し、前記読み出した重要領域を通知する(ステップS003)。
以上の動作により、交通信号制御装置100は、交通信号機の灯火の状態に応じて重要領域を変更し、変更後の重要領域をカメラ105に通知する。これにより、交差点内の画像を撮影するカメラ105に、重要領域を用いた各種の処理を行わせることができる。例えば、重量領域の部分が他の部分よりも高画質となるような画像の符号化を行うことで(特許文献2、3参照)、ネットワークの負荷の低減やストレージの節約、これらリソースの効率的な利用を行うことが可能となる。また例えば、重量領域を用いて画像へのマーキングやメタ情報の付加を行うことで、交通管制センター300での交差点の監視を効率化することもできる。
なお、上記した第1の実施形態では、図7、図8の例を示して階梯番号に応じた重要領域の設定を行うものとして説明したが、階梯番号によらず、交通信号制御装置100が信号制御情報から把握される灯火の色に応じて重要領域を設定してもよい。
また、上記した第1の実施形態では、階梯番号の歩進に応じて重要領域の変更を行うものとして説明したが、階梯をさらに時間で細分化し、交通信号制御装置100が細分化された階梯内の時間帯毎に重要領域を設定してもよい。
さらに、上記した図7の設定情報では、車両用信号及び歩行者用信号の組合せ毎に重要領域を設定しているが、どちらか片方の信号の変化に応じて重要領域を変更するような設定情報を用いることもできる。また、交差点等に、車両用信号及び歩行者用信号以外の信号が存在する場合、さらにこれらの他の信号との組み合わせ毎に、重要領域を変更するような設定情報を用いることも可能である。
[第2の実施形態]
上記した第1の実施形態では、交通信号機111が交通管制センター300の直接制御対象となっている例を挙げて説明したが、本発明は、交通管制センター300の直接制御対象となっていない、例えば、定周期制御信号と呼ばれる交通信号機にも適用できる。以下、交通管制センター300の直接制御対象となっていない交通信号機の灯火に応じて重要領域を変更する第2の実施形態について説明する。
図10は、本発明の第2の実施形態のシステム構成を示す図である。図6に示した第1の実施形態との構成上の大きな相違点は、交通信号制御装置100bが交通管制センター300の制御を受けずに交通信号機111bを制御する点である。その他の構成は第1の実施形態と同様であるので、以下、その相違点を中心に説明する。
信号制御部110bは、予め設定された周期で点灯パターン(現示構成ともいう)を行うように、交通信号機111bを制御する。信号制御部110bは、図示省略するセンサー(感知器)と接続され、車両や歩行者の有無に応じて、点灯パターンを変更する感応式制御を行うものであってもよい。信号制御部110bからの制御内容は、重要領域変更部102bにも提供される。
重要領域変更部102bは、設定情報記憶部104から読み出した設定情報と、信号制御部110bから提供された信号制御情報と、に基づいて、カメラ105の撮影可能領域中の重要領域を変更する。例えば、重要領域変更部102bは、第1の実施形態と同様に、設定情報から、信号制御情報によって歩進する階梯番号に対応する重要領域を読み出すことで重要領域を変更する。
その他の動作は第1の実施形態と同様であるので説明を省略する。以上説明したように、本実施形態の構成によれば、交通管制センター300の制御を受けない交通信号機111bが設置された交差点等を撮影するカメラ105にも重要領域を通知し、重要領域を用いた各種の処理を行わせることができる。
[第3の実施形態]
上記した第1、第2の実施形態では、交通信号制御装置がカメラ105と接続されて重要領域を通知するものとして説明したが、交通信号制御装置とカメラの制御装置が別の装置で構成されている場合も想定される。その場合、カメラの制御装置が、交通信号制御装置から信号の制御情報の提供を受けられないことも想定される。以下、交通信号制御装置とカメラの制御装置が別の装置で構成されているケースを想定した第3の実施形態について説明する。
図11は、本発明の第3の実施形態のシステム構成を示す図である。図10に示した第2の実施形態との構成上の大きな相違点は、交通信号制御装置200cと、カメラ制御装置100cとがそれぞれ別の独立した装置として構成されている点である。このため、カメラ制御装置100cには、信号制御情報に代えて交通信号機の灯器の点灯状態を把握するための灯器色識別部106が備えられている。また、設定情報記憶部104cには、信号制御情報によらずに重要領域を変更するための設定情報が記憶されている。その他の構成は第1、第2の実施形態と同様であるので、以下、その相違点を中心に説明する。
交通信号制御装置200cは、信号制御部210cを備え、交通管制センター300の制御を受けずに、交通信号機111cの制御を行う装置である。信号制御部210cは、第2の実施形態の信号制御部110bと同様であり、予め設定された周期で点灯パターン(現示構成ともいう)を行うように、交通信号機111cを制御する。
カメラ制御装置100cは、重要領域変更部102と、灯器色識別部106と、カメラ制御部103cと、設定情報記憶部104cとを備えている。
カメラ制御部103cは、カメラ105の制御に加えて、カメラ105で撮影された画像を灯器色識別部106に提供可能となっている。
灯器色識別部106は、カメラ制御部103cから提供された画像に写った交通信号機111cの像から、交通信号機111cの灯器の点灯状態を識別し、その結果を重要領域変更部102に送る。従って、灯器色識別部106は、カメラ105の画像から交通信号機の灯器の点灯状態を識別する手段として機能する。
設定情報記憶部104cには、信号制御情報によらずに重要領域を変更するための設定情報が記憶されている。図12は、本実施形態の設定情報記憶部104cに保持される設定情報の一例を示す図である。図12の例では、重要領域の変更条件としての灯器の点灯パターンと、選択する重要領域とを対応付けた設定情報の例が示されている。
重要領域変更部102は、設定情報記憶部104cに保持されている設定情報を参照し、灯器色識別部106から受信した灯器の点灯状態に適合する重要領域を選択し、カメラ制御部103cに通知する。例えば、車両用信号及び歩行者用信号がともに青のとき、重要領域変更部102は、重要領域として領域1、領域3を選択する。
その後、交通信号機の点灯色が変化し、車両用信号が黄色、歩行者用信号が赤になると、重要領域変更部102は、重要領域として領域1、領域2、領域3を選択する。さらに、交通信号機の点灯色が変化し、車両用信号及び歩行者用信号がともに赤になり3秒経過したタイミングで、重要領域変更部102は、重要領域として領域2、領域3を選択する。
以上、説明したように、交通信号機111cに対する交通信号制御装置200cの制御内容をリアルタイムに取得できない場合でも、本実施形態の構成によれば、第1、第2の実施形態と同様に、交通信号機の灯器の点灯状態に応じて重要領域を選択することが可能となる。換言すると、本実施形態によれば、交通信号機111cの灯器の組み合わせが所定の点灯状態になるタイミングで、第1、第2の実施形態と同様に重要領域を適切に変更することができる。なお、第3の実施形態では、交通信号機111cが交通管制センター300の直接制御対象となっていないものとして説明したが、交通信号機111cが交通管制センター300の制御対象の信号機であってもよい。この場合、図11の交通管制センター300と交通信号制御装置200c間に制御線が追加される。
また、上記したカメラ制御装置をカメラと一体化することもできる。このようなカメラは、図11のカメラ部105、重要領域変更部102、灯器色識別部106、カメラ制御部103c及び設定情報記憶部104cを備えるネットワークカメラとしても把握可能である。また、上記のような構成において、第1の実施形態と同様に、ネットワークカメラが交通管制センター300から信号制御情報を取得できる場合、灯器色識別部106を信号制御情報受信部に置き換えることができる。
[第4の実施形態]
上記した第1~第3の実施形態では、交通信号制御装置やカメラ制御装置がカメラ側に重要領域を伝え、カメラ側で符号化等を行うものとして説明したが、交通信号制御装置側で符号化等を行うこともできる。続いて、交通信号制御装置側に符号化機能を配置した第4の実施形態について図面を参照して詳細に説明する。
図13は、本発明の第4の実施形態のシステム構成を示す図である。図6に示した第1の実施形態との構成上の大きな相違点は、交通信号制御装置100d内に、カメラ制御部103に代わりに符号化部107が設けられ、交通信号制御装置100dが符号化したデータを交通管制センター300に送信可能に構成されている点である。その他の構成は、第1の実施形態と同様であるので、以下、その相違点を中心に説明する。
重要領域変更部102dは、第1の実施形態と同様に、設定情報記憶部104から読み出した設定情報と、交通管制センター300から受信した信号制御情報と、に基づいて、カメラ105の撮影可能領域中の重要領域を変更し、符号化部107に対し、変更後の重要領域を通知する。
符号化部107は、カメラ105から出力されたデータに対し、重要領域を用いた符号化、画像への領域を示す枠線等の付加、メタ情報の付加等を行った上での符号化を行う。前記重要領域を用いた符号化としては、例えば、特許文献2、3に記載されている特定の領域の画質が他の領域よりも高画質(低圧縮)となるような符号化方法を挙げることができる。このような符号化部107は、コンピュータ上で動作するプログラム(ソフトウェア)として実現するほか、FPGA(Field-Programmable Gate Array)等のハードウェアで実現することもできる。
符号化部107は、交通管制センター300に対し、符号化後のデータを送信する。これにより第1の実施形態と同様に、ネットワークの負荷の低減やストレージの節約、これらリソースの効率的な利用を行うことが可能となる。また例えば、重量領域を用いて画像へのマーキングやメタ情報の付加を行うことで、交通管制センター300での交差点の監視を効率化することもできる。
なお、図13の例では、交通信号制御装置100dが、交通管制センター300に対し、符号化後のデータを送信するものとしているが、図14に示すように、交通信号制御装置100dが、ネットワーク上に配置された画像記録装置108に符号化後のデータを一旦記録する形態も採用可能である。この場合、交通管制センター300は、画像記録装置108にアクセスし、必要なデータを参照することになる。
また、図13に示した符号化部を交通信号制御装置(重要領域設定装置)とは別の装置として構成してもよい(図15参照)。このような符号化装置107dは、重要領域設定装置100dから通知された重要領域を用いて、カメラで撮影された動画像を符号化する符号化装置として把握される。このような符号化装置は、カメラに接続されたMEC(Mobile Edge Computing)サーバとして実現することも可能である。このようなMECサーバを設けることにより、交通信号制御装置(重要領域設定装置)における処理負荷を低減することが可能となる。また、図16に示すように、符号化部がカメラ105側に配置されていてもよい。この場合、カメラ105と交通管制センター300間を流れるデータ量を削減することが可能となる。
また、上記した交通管制装置相当の機能を交通管制センター側に設けることもできる(図17参照)。図17を参照すると、交通管制機能部330と、信号制御情報受信部301と、重要領域変更部302dと、設定情報記憶部304と、信号制御部310と、を備えた構成が示されている。交通管制機能部330は、図15における交通管制センター300の機能に相当する。信号制御情報受信部301、重要領域変更部302d、設定情報記憶部304及び信号制御部310は、それぞれ図15における、信号制御情報受信部101、重要領域変更部102d、設定情報記憶部104及び信号制御部110に相当する。このように、本発明は、符号化装置107dを制御する交通管制センター300aとして実現することができる。また、図17の形態においても、図14と同様に、符号化装置107dと交通管制機能部330との間に画像記録装置を設けた構成も採用することができる。
以上、本発明の各実施形態を説明したが、本発明は、上記した実施形態に限定されるものではなく、本発明の基本的な技術的思想を逸脱しない範囲で、更なる変形・置換・調整を加えることができる。例えば、各図面に示した装置構成、各要素の構成、データ等の表現形態は、本発明の理解を助けるための一例であり、これらの図面に示した構成に限定されるものではない。例えば、上記した第1~第4の実施形態では、カメラ105が交差点内の画像を撮影するものとして説明したが、カメラ105の位置はこれに限定されない。例えば、信号機から離れた位置のカメラにおいても、交通信号機の灯火の状態に応じて、重要領域の変更をした方がよい場合がある。例えば、交通信号機から離れた位置にある横断歩道や道路に面した店舗や駐車場にカメラが設置されている場合がある。本発明は、これらのカメラに対する重要領域の通知にも適用することができる。
また、上記した実施形態で説明したカメラは、特許文献1のように、交通信号機の灯器ハウジング内やハウジングに付設されたいわゆる交通インフラを構成するカメラ(交通流測定カメラ、信号カメラ)であってもよい。また、カメラで撮影されたデータを最寄りの基地局経由で交通管制センター300に送信する形態も採用できる。これらの基地局は、LTE(Long Term Evolution)や、第5世代移動通信システム(5G)の基地局であってもよい。さらには、これらの基地局に、本発明の重要領域設定装置やカメラ制御装置としての機能を持たせてよい。
また、上記した実施形態では、設定情報を用いて重要領域を変更する例を挙げて説明したが、交通信号制御装置(重要領域設定装置)に別の観点で、重要領域の変更、設定を行わせることもできる。例えば、交通信号制御装置(重要領域設定装置)が、曜日や時間帯などに基づいて、重要領域の大きさを変えたり、位置を増やしたりしてもよい。このようにすることで、事故が多い時間や通勤・通学時間における監視を適切に行うことができるようになる。
また、カメラ105で撮影され、重要領域を用いた符号化等を施した画像が、交通管制センター300に送信されるものとして説明したが、他のエンティティに対し、これらの画像を送信してもよい。例えば、交通関連データの収集・分析・提供を行うデータ管理システム(事業者)に対し、重要領域を用いた符号化等を施した画像等を送信してもよい。また、他の交通インフラや車両に対し、直接、重要領域を用いた符号化等を施した画像等を送信してもよい。
また、上記した各実施形態に示した手順は重要領域設定装置や交通信号制御装置として機能するコンピュータ(図18の9000)に、これらの装置としての機能を実現させるプログラムにより実現可能である。このようなコンピュータは、図18のCPU(Central Processing Unit)9010、通信インタフェース9020、メモリ9030、補助記憶装置9040を備える構成に例示される。すなわち、図18のCPU9010にて、重要領域変更プログラムや重要領域通知プログラムを実行させればよい。
即ち、上記した重要領域設定装置や交通信号制御装置の各部(処理手段、機能)は、これらの装置に搭載されたプロセッサに、そのハードウェアを用いて、上記した各処理を実行させるコンピュータプログラムにより実現することができる。
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
[付記1]
(上記第1の視点による重要領域設定装置参照)
[付記2]
上記した重要領域設定装置は、前記交通信号機の灯器の点灯状態を示す階梯情報を用いて、前記重要領域を変更する構成を採ることができる。
[付記3]
上記した重要領域設定装置は、前記交通信号機の灯器の点灯状態の変化を基準とした所定のタイミングで、前記重要領域を変更する構成を採ることができる。
[付記4]
上記したカメラは、前記交通信号機の灯器を撮影可能な位置に配置され、
上記した重要領域設定装置は、さらに、前記カメラの画像から前記交通信号機の灯器の点灯状態を識別する手段を備える構成を採ることができる。
[付記5]
上記した重要領域設定装置は、前記重要領域として、前記重要領域の画質を、前記重要領域以外の領域とは異なる画質で符号化させるための領域情報を通知する構成を採ることができる。
[付記6]
上記した重要領域設定装置は、
交差点を右左折する車両が横切る横断歩道を含む領域を設定した設定情報を参照して、前記重要領域を切り替える構成を採ることができる。
[付記7]
上記した重要領域設定装置が重要領域を設定するカメラは、ロードサイドに設置されたカメラであってもよい。
[付記8]
(上記第2の視点による符号化装置参照)
[付記9]
(上記第3の視点によるネットワークカメラ参照)
[付記10]
(上記第4の視点による重要領域の設定方法参照)
[付記11]
(上記第5の視点によるプログラム参照)
なお、上記第9~第11の形態は、第1の形態と同様に、第2~第7の形態に展開することが可能である。
なお、上記の特許文献の開示を、本書に引用をもって繰り込むものとする。本発明の全開示(請求の範囲を含む)の枠内において、さらにその基本的な技術的思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の開示の枠内において種々の開示要素(各請求項の各要素、各実施形態ないし実施例の各要素、各図面の各要素等を含む)の多様な組み合わせ、ないし選択(部分的削除を含む)が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。特に、本書に記載した数値範囲については、当該範囲内に含まれる任意の数値ないし小範囲が、別段の記載のない場合でも具体的に記載されているものと解釈されるべきである。
100a 重要領域設定装置
100、100b、100d、200c交通信号制御装置
100c カメラ制御装置
101、301 信号制御情報受信部
101a、102、102b、102d、302d 重要領域変更部
102a 通知部
103、103c カメラ制御部
104、104c、304 設定情報記憶部
105 カメラ
106 灯器色識別部
107、307 符号化部
107d 符号化装置
108 画像記録装置
110、110b、210c、310 信号制御部
111、111b、111c 交通信号機
200a サーバ
300 交通管制センター
330 交通管制機能部
9000 コンピュータ
9010 CPU
9020 通信インタフェース
9030 メモリ
9040 補助記憶装置

Claims (10)

  1. 所定の交通信号機の灯器の点灯状態に応じて、所定のカメラの撮影可能領域中の重要領域を変更する手段と、
    前記カメラ又は前記カメラで撮影された画像を送信する装置に対して、前記重要領域を通知する手段と、
    を備える重要領域設定装置。
  2. 前記交通信号機の灯器の点灯状態を示す階梯情報を用いて、前記重要領域を変更する請求項1の重要領域設定装置。
  3. 前記交通信号機の灯器の点灯状態の変化を基準とした所定のタイミングで、前記重要領域を変更する請求項1又は2の重要領域設定装置。
  4. 前記カメラは、前記交通信号機の灯器を撮影可能な位置に配置され、
    さらに、
    前記カメラの画像から前記交通信号機の灯器の点灯状態を識別する手段を備える請求項1から3いずれか一の重要領域設定装置。
  5. 前記重要領域は、前記重要領域の画質を、前記重要領域以外の領域とは異なる画質で符号化させるための領域情報である請求項1から4いずれか一の重要領域設定装置。
  6. 交差点を右左折する車両が横切る横断歩道を含む領域を設定した設定情報を参照して、
    前記重要領域を切り替える請求項1から5いずれか一の重要領域設定装置。
  7. 前記カメラは、ロードサイドに設置されたカメラである請求項1から6いずれか一の重要領域設定装置。
  8. 請求項1から7いずれか一の重要領域設定装置から通知された重要領域を用いて、カメラで撮影された動画像を符号化する符号化装置。
  9. コンピュータが、
    所定の交通信号機の灯器の点灯状態に応じて、所定のカメラの撮影可能領域中の重要領域を変更し、
    前記カメラで撮影された画像を送信する装置に対して、前記重要領域を通知する、
    重要領域の設定方法。
  10. コンピュータに、
    所定の交通信号機の灯器の点灯状態に応じて、所定のカメラの撮影可能領域中の重要領域を変更する処理と、
    前記カメラで撮影された画像を送信する装置に対して、前記重要領域を通知する処理と、
    を実行させるプログラム。
JP2022539930A 2020-07-31 2020-07-31 重要領域設定装置、符号化装置、重要領域の設定方法及びプログラム Active JP7459946B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/029392 WO2022024332A1 (ja) 2020-07-31 2020-07-31 重要領域設定装置、符号化装置、ネットワークカメラ、重要領域の設定方法及びプログラム記録媒体

Publications (3)

Publication Number Publication Date
JPWO2022024332A1 JPWO2022024332A1 (ja) 2022-02-03
JPWO2022024332A5 JPWO2022024332A5 (ja) 2023-03-24
JP7459946B2 true JP7459946B2 (ja) 2024-04-02

Family

ID=80035280

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022539930A Active JP7459946B2 (ja) 2020-07-31 2020-07-31 重要領域設定装置、符号化装置、重要領域の設定方法及びプログラム

Country Status (2)

Country Link
JP (1) JP7459946B2 (ja)
WO (1) WO2022024332A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016130099A (ja) 2015-01-14 2016-07-21 株式会社ニコン 撮像装置
JP2018063680A (ja) 2016-10-14 2018-04-19 国立大学法人金沢大学 交通信号認識方法および交通信号認識装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11203590A (ja) * 1997-05-28 1999-07-30 Hitachi Denshi Ltd 交通監視用テレビシステム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016130099A (ja) 2015-01-14 2016-07-21 株式会社ニコン 撮像装置
JP2018063680A (ja) 2016-10-14 2018-04-19 国立大学法人金沢大学 交通信号認識方法および交通信号認識装置

Also Published As

Publication number Publication date
US20230298463A1 (en) 2023-09-21
JPWO2022024332A1 (ja) 2022-02-03
WO2022024332A1 (ja) 2022-02-03

Similar Documents

Publication Publication Date Title
JP7429813B2 (ja) 三次元データ作成方法、三次元データ作成装置及び交通監視方法
JP7061964B2 (ja) データ生成方法及びデータ生成装置
JP7218535B2 (ja) 交通違反車両識別システム及びサーバ
CN108417057B (zh) 一种智能信号灯配时系统
JP2023153874A (ja) クライアント装置が実施する方法、及びクライアント装置
CN104506804B (zh) 一种快速道路上的机动车异常行为监测装置及其方法
CN108198441B (zh) 一种快速智能交通系统及方法
DE102013107959B4 (de) Verfahren zur Unterstützung des Parkens von Fahrzeugen auf einer Parkfläche, Parkflächenmanagementsystem, fahrzeugseitiges System und Computerprogramm dafür
KR101964683B1 (ko) 스마트 영상처리장치 및 그 장치의 구동방법
KR101725130B1 (ko) 차량 충돌 방지를 위한 지능형 신호등 제어 장치 및 방법
DE102020120953A1 (de) Digitalzwilling-überwachungssysteme und -verfahren
DE112017008214T5 (de) Shuttle-Routenplanungssystem
KR102390813B1 (ko) 객체인식 카메라를 이용한 정보 수집 및 지능형 신호 제어 장치 및 방법
CN115273496A (zh) 动态控制人行横道信号灯配时的方法、系统及电子设备
CN110782653A (zh) 一种道路信息采集方法和系统
JP7459946B2 (ja) 重要領域設定装置、符号化装置、重要領域の設定方法及びプログラム
KR101954719B1 (ko) 이벤트감지장치 및 그 장치의 구동방법
WO2023207624A1 (zh) 数据处理方法、设备、介质及路侧协同设备、系统
CN113538943A (zh) 一种红绿灯控制方法及系统
KR20050114906A (ko) 통합 및 독립적 구성 조합에 의한 불법 주정차 무인 단속시스템 및 그것의 운용방법
CN108682154A (zh) 基于车流状态变化深度学习分析的道路拥堵检测系统
KR20180068462A (ko) 신호등 제어 시스템 및 방법
WO2023248776A1 (ja) 遠隔支援装置、遠隔支援方法、及び遠隔支援プログラム
US12073718B2 (en) Important region setting device, encoding device, network camera, important region setting method, and program recording medium
KR102483250B1 (ko) 해양도시 인프라의 효율적 관제를 위한 영상 ai 기반 안전관리 통합장치

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230110

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230110

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240201

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240304

R150 Certificate of patent or registration of utility model

Ref document number: 7459946

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150