WO2016017272A1 - 物体検出装置 - Google Patents
物体検出装置 Download PDFInfo
- Publication number
- WO2016017272A1 WO2016017272A1 PCT/JP2015/066038 JP2015066038W WO2016017272A1 WO 2016017272 A1 WO2016017272 A1 WO 2016017272A1 JP 2015066038 W JP2015066038 W JP 2015066038W WO 2016017272 A1 WO2016017272 A1 WO 2016017272A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- block
- candidate
- compression
- image
- vehicle
- Prior art date
Links
- 230000006835 compression Effects 0.000 claims abstract description 105
- 238000007906 compression Methods 0.000 claims abstract description 105
- 239000000284 extract Substances 0.000 claims abstract description 6
- 238000001514 detection method Methods 0.000 claims description 173
- 239000013598 vector Substances 0.000 claims description 141
- 230000033001 locomotion Effects 0.000 claims description 53
- 238000000034 method Methods 0.000 claims description 30
- 238000003908 quality control method Methods 0.000 claims description 25
- 238000003384 imaging method Methods 0.000 claims description 17
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 description 22
- 230000000875 corresponding effect Effects 0.000 description 13
- 230000008569 process Effects 0.000 description 13
- 230000003449 preventive effect Effects 0.000 description 6
- 238000013139 quantization Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000002945 steepest descent method Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mechanical Engineering (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
物体検出装置は、ビットストリーム形式によってブロック単位で圧縮符号化された画像データである圧縮画像ストリームの入力を受け付け、該圧縮画像ストリームに含まれるブロックから、圧縮後の画像の特徴を示す所定の圧縮符号化情報を抽出し、該圧縮符号化情報に基づいて、該ブロックが、該特定の物体の少なくとも一部を含む候補ブロックであるか否か、を判定する。物体検出装置は、該圧縮画像ストリームから復号された復号画像において、該候補ブロックを含む所定サイズの候補領域を特定し、該候補領域の画像データから所定の特徴量を算出し、該特徴量に基づいて該候補領域が該特定の物体の少なくとも一部を含むか否かを判定する。
Description
本出願は、2014年7月28日に出願された日本特許出願第2014-152669号の優先権を主張し、その内容を参照することにより、本出願に取り込む。
本発明は、物体検出装置に関する。
交通事故による死傷者数を低減するため、事故を未然に防ぐ予防安全システムの開発が進められ、実用化されている。予防安全システムは、交通事故の発生する可能性が高い状況下で作動するシステムである。予防安全システムは、例えば、自車に取り付けられたカメラによって撮像された画像中の移動体(車両(四輪自動車)、歩行者、及び二輪車等)を検出し、自車が移動体と衝突する可能性が生じたときには警報によって運転者に注意を促す。
本技術分野の背景技術として、特開2001-250118号公報(特許文献1)がある。この公報には、「可変長復号部1は、入力してくる動画像の圧縮符号化データを部分的に復号する。検出対象設定部2は、可変長復号部1からの符号化モード情報pと、領域動き予測部4からの領域の動き予測位置情報qを入力とし、検出対象ブロック位置情報rを出力する。移動領域検出処理部3は、現フレームの符号化モード情報pと、予測誤差情報aと、動き予測情報bを基に、該検出対象設定部2によって設定された検出処理対象ブロックが移動領域に属するか否かを検出する。この検出結果は検出結果メモリ5に一旦蓄積され、領域動き予測部4に送られる。領域動き予測部4は、移動領域全体の動きを予測し、領域の動き予測位置情報qを出力する。」と記載されている(要約参照)。
車両等に搭載される予防安全システムは、信頼性の高い移動体検出を行う必要があるため、例えば、高解像度化、高フレームレート化、ステレオ化されたカメラによって撮像された画像を用いる。しかし、このようなカメラで撮像された画像はデータ量が非常に大きいため、予防安全システムにおいて、非圧縮で画像を伝送することは困難である。従って、予防安全システムは、圧縮画像から移動体を検出する必要がある。
特許文献1に記載の技術は、圧縮画像ストリーム上の動きベクトル等に着目することにより、圧縮画像ストリームから高速に移動体が含まれるブロックを検出する。しかし、検出されたブロックに写っている移動体が、自車と衝突する可能性のあるものか否かについて、圧縮画像ストリームの情報のみから判定することは容易でない。本発明は、上記課題を鑑みてなされたものであり、圧縮画像ストリームを用いて、高速かつ高精度に移動体を検出する物体検出装置を提供することを目的とする。
上記課題を解決するために、本発明は、例えば、以下のような構成を採用する。ビットストリーム形式によってブロック単位で圧縮符号化された画像データである圧縮画像ストリームの入力を受け付け、前記入力された圧縮画像ストリームの復号画像から特定の物体を検出する、物体検出装置であって、前記入力された圧縮画像ストリームに含まれるブロックから、圧縮後の画像の特徴を示す所定の圧縮符号化情報を抽出するストリーム解析部と、前記抽出された所定の圧縮符号化情報に基づいて、前記ブロックが、前記特定の物体の少なくとも一部を含む候補ブロックであるか否か、を判定する物体候補検出部と、前記圧縮画像ストリームから復号された復号画像において、前記候補ブロックを含む所定サイズの候補領域を特定し、前記候補領域の画像データから所定の特徴量を算出し、前記算出された特徴量に基づいて前記候補領域が前記特定の物体の少なくとも一部を含むか否かを判定する物体検出部と、を含む物体検出装置。
本発明の一態様によれば、圧縮画像ストリームから高速かつ高精度に移動体を検出できる。
以下、添付図面を参照して本発明の実施形態を説明する。本実施形態は本発明を実現するための一例に過ぎず、本発明の技術的範囲を限定するものではないことに注意すべきである。各図において共通の構成については同一の参照符号が付されている。以後、特に断らない限り、本実施形態において物体とは、本実施形態の物体検出装置が検出することができる特定の移動し得る物体(例えば、車両(四輪自動車)、歩行者、二輪車等)を示すものとする。
図1は、本実施例の物体検出装置10の構成例を示す。物体検出装置10は、例えば、CPU110、記憶装置120、入出力インタフェース130を含む計算機上に構成される。CPU110は、プログラムに従って動作するプロセッサ及び/又は論理回路を含み、データの入力/出力、読み込み/書き込みを行い、さらに、後述する各プログラムを実行する。
記憶装置120は、CPU110が実行するプログラム及びデータを一時的にロードして記憶し、さらに各プログラム及び各データを保持する。記憶装置120は、復号化部101、物体検出部102、出力部103、ストリームデータ処理部11、圧縮特徴識別器107、及び物体識別器108を保持する。入出力インタフェース130は、外部装置からデータ等の入力を受け付け、外部装置に対してデータ等の出力を行う、インタフェースである。
なお、記憶装置120が保持する各部はプログラムである。プログラムはCPU110によって実行されることで、定められた処理を記憶装置120及び入出力インタフェース130を用いながら行う。従って、本実施例及び他の実施例においてプログラムを主語とする説明は、CPU110を主語とした説明でもよい。若しくは、プログラムが実行する処理は、そのプログラムが動作する計算機及び計算機システムが行う処理である。
CPU110は、プログラムに従って動作することによって、所定の機能を実現する機能部として動作する。例えば、CPU110は、ストリーム解析部104に従って動作することでストリーム解析部として機能し、圧縮特徴ベクトル生成部105に従って動作することで圧縮特徴ベクトル生成部として機能する。他のプログラムについても同様である。さらに、CPU110は、各プログラムが実行する複数の処理のそれぞれを実現する機能部としても動作する。計算機及び計算機システムは、これらの機能部を含む装置及びシステムである。
ストリームデータ処理部11は、ストリーム解析部104、圧縮特徴ベクトル生成部105、及び物体候補検出部106を含む。ストリームデータ処理部11は、圧縮画像ストリームの入力を受け付け、入力された圧縮画像ストリームを部分的に復号した情報から、物体候補情報の検出及び出力を行う。
圧縮画像ストリームは、ビットストリーム形式で圧縮符号化された画像データである。物体検出装置10に入力される圧縮画像ストリームの形式は、JPEG、MPEG-2、H.264/AVC、H.265/HEVCなど既存の画像符号化規格であってもよいし、独自規格を含むその他の規格であってもよい。
ストリーム解析部104は、圧縮画像ストリームに対して、1以上の隣接する画素からなる符号化単位であるブロックごとに、圧縮符号化情報を抽出するための部分的な復号を行う。圧縮符号化情報とは、圧縮画像ストリームの生成の過程において符号化された情報であって、圧縮後の画像の特徴量を示す。圧縮符号化情報は、当該画像データの冗長性を削減した圧縮画像データの特徴(例えば、画像間の時間的相関性、画像内の空間的相関性等)を反映する情報を符号化した情報である。ストリーム解析部104は、抽出した圧縮符号化情報を圧縮特徴ベクトル生成部105に対して出力する。
圧縮特徴ベクトル生成部105は、圧縮符号化情報から任意の次元の圧縮特徴ベクトルを、ブロックごとに生成する。圧縮特徴ベクトル生成部105は生成した圧縮特徴ベクトルを物体候補検出部106に対して出力する。
復号化部101は、圧縮画像ストリームの入力を受け付け、例えば、既知の復号化方式を用いて、当該圧縮画像ストリームの復号画像を生成し、出力する。物体候補検出部106は、圧縮特徴ベクトル生成部105が出力する圧縮特徴ベクトルに基づいて、各ブロックが、物体の一部又は全部を含むブロックの候補であるか否かを判定する。以下、当該候補を物体候補ブロックと呼ぶ。物体候補検出部106は、各ブロックにおける当該判定結果を含む物体候補情報を、物体検出部102に対して出力する。
圧縮特徴識別器107は、ブロックにおける圧縮特徴ベクトルに基づいて、当該ブロックが物体候補ブロックであるか否かを判定する識別器であり、当該識別器に適用する重み係数ベクトル等の情報を含む。圧縮特徴ベクトルについては、後述する。なお、記憶装置120は、複数の圧縮特徴識別器107を保持してもよい。このとき、物体候補検出部106は、例えば、物体の種別(車両、歩行者、二輪車等)ごとに異なる圧縮特徴識別器107を用いて物体候補検出を行ってもよい。
物体検出部102は、復号化部101が出力する復号画像と、ストリームデータ処理部11が出力する物体候補情報とを入力として、復号画像中の物体を検出し、物体情報を出力する。出力部103は、物体検出部102が出力する物体情報を入力として、衝突の危険度を判定し、制御情報を出力する。
物体識別器108は、復号画像から算出される特徴量に基づいて、当該領域が物体であるか否かを判定する識別器であり、当該識別器に適用する重み係数ベクトル等の情報を含む。なお、記憶装置120は、複数の物体識別器108を保持してもよい。このとき、物体検出部102は、例えば、物体の種別ごとに異なる物体識別器108を用いて物体検出を行ってもよい。
図2は、ストリームデータ処理部11による物体候補ブロック検出処理の一例を示す。ストリーム解析部104は、入力された圧縮画像ストリームに対して、ブロック単位で部分的に復号を行い、物体候補検出に有効な圧縮符号化情報を抽出する(S201)。なお、ストリーム解析部104は、物体候補検出に有効な圧縮符号化情報のうち、物体候補検出部106が利用する圧縮特徴識別器107に対応する圧縮特徴ベクトルの生成に必要な圧縮符号化情報のみを抽出してもよい。
物体候補検出に有効な圧縮符号化情報とは、例えば、予測モード情報、動きベクトル、周波数変換係数、予測残差、量子化係数、輝度予測係数等のように、物体の特徴を反映し、かつ1次元以上のベクトルで表される圧縮符号化情報である。また、物体の特徴を反映する値を、当該物体の特徴量と呼ぶ。従って、有効な圧縮符号化情報を示すベクトルの各成分は当該物体の特徴量の一例である。以下、特に断らない限り、物体の特徴量を単に特徴量と呼ぶ。ストリーム解析部104は、抽出した圧縮符号化情報を圧縮特徴ベクトル生成部105に出力する。
圧縮特徴ベクトル生成部105は、入力された有効な圧縮符号化情報から、物体候補検出部106が利用する圧縮特徴識別器107に対応する、N次元の圧縮特徴ベクトルx=[x1,x2,…,xN]Tを生成する(S202)。xi(iは1以上N以下の整数)は当該ブロックにおけるi番目の特徴量、Tは転置を表す。
以下、圧縮特徴ベクトル生成部105がN次元の圧縮特徴ベクトルを生成する例を示す。例えば、圧縮特徴ベクトル生成部105は、入力された特徴量の一部又は全部、を成分とするN+1次元以上のベクトルを生成し、当該ベクトルの次元圧縮を行うことで、N次元の圧縮特徴ベクトルを生成する。圧縮特徴ベクトル生成部105は、例えば、主成分分析(PCA:Principal Component Analysis)や線形判別分析(LDA:Linear Discriminant Analysis)等の手法を用いて当該ベクトルの次元圧縮を行うことができる。
また、圧縮特徴ベクトル生成部105は、入力された圧縮符号化情報に対して、例えば、次元数Nを入力としたK-meansクラスタリングや、入力された特徴量から任意のN個の特徴量を選択する特徴選択を行うことで、圧縮特徴ベクトルを生成してもよい。また、圧縮特徴ベクトル生成部105は、例えば、入力された特徴量の一部又は全部を成分とするN-1次元以下のベクトルを生成し、入力された特徴量から算出される値を当該ベクトルの成分に追加し、N次元の圧縮特徴ベクトルを生成してもよい。
なお、例えば、当該ブロックの予測モードが画面内予測(イントラ予測)である場合、ストリーム解析部104は、当該ブロックにおける動きベクトルを得ることができない。しかし、圧縮特徴ベクトル生成部105は、上述した方法により、任意の次元の圧縮特徴ベクトルを生成することにより、例えば、画面内予測や画面間予測など様々な符号化モードが混在する圧縮画像ストリームから物体候補を検出できる。
圧縮特徴ベクトル生成部105は、生成した圧縮特徴ベクトルxを物体候補検出部106に対して出力する。続いて、物体候補検出部106は、入力された圧縮特徴ベクトルxを、圧縮特徴識別器107に適用し、当該ブロックが物体候補ブロックであるか否かを判定する。
具体的には、物体候補検出部106は、以下の数1に示す圧縮特徴識別器107の一例である識別関数h(x)を計算する(S203)。物体候補検出部106は、識別関数h(x)の出力が所定の閾値以上であるか否かによって、当該ブロックが物体候補ブロックであるか否かを判定する(S204)。例えば、h(x)は0から1の値をとり、物体候補検出部106は、h(x)が0.5以上であれば当該ブロックが物体候補ブロックであると判定する。
ここで、w=[w1,w2,…,wN]Tは、圧縮特徴識別器107が保持する重み係数ベクトルである。関数g(z)は、シグモイド関数(ロジスティック関数の一例)であり、入力値を0~1.0の物体候補確率へと変換する。関数g(z)は他の形式でもよく、例えばg(z)=zとすることで、識別関数h(x)を線形回帰として構成してもよい。即ち、数1をh(x)=wTxとしてもよい。
識別関数h(x)が所定の閾値以上である場合(S204:YES)、物体候補検出部106は、当該ブロックに物体候補フラグを立てる(S205)。識別関数h(x)が所定の閾値未満である場合(S204:NO)、物体候補検出部106は、当該ブロックに物体候補フラグを立てない(S206)。ストリームデータ処理部11は、以上の処理を全ブロックに対して終わるまで繰り返す(S207)。
なお、圧縮特徴ベクトル生成部105は、重み係数ベクトルwを、例えば物体候補及び非物体候補の圧縮特徴ベクトルを学習データとした教師つき学習によって求めることができる。具体的には、圧縮特徴ベクトル生成部105は、下記の数3の値を算出することにより、即ち下記の数4に示す誤差関数E(w)を最小化することにより、wを算出する。
ここで、xmはm番目の学習データにおける圧縮特徴ベクトル、ymはm番目の学習データの教師ラベル、λは正則化のためのトレードオフパラメータ、Mは学習データの個数である。また、数4の正則化項におけるノルムはL2ノルムである。圧縮特徴ベクトル生成部105は、例えば、確率的勾配降下法(SDG:Stochastic Gradient Descent)に代表される最急降下法や、正規方程式を解くことにより、E(w)を最小化するwを算出することができる。
圧縮特徴ベクトル生成部105は、算出したwを、圧縮特徴識別器107に格納しておき、上述した識別関数h(x)の演算で用いる。なお、圧縮特徴ベクトル生成部105は、数4に示した誤差関数から正則化項を省略した関数を最小化することにより、wを算出してもよい。
また、数4の正則化項におけるノルムは、L2ノルムに限らず、例えばL1ノルム又はL0ノルムのような、Lpノルム(pは0以上の実数)としてもよい。なお、数4の正則化項におけるノルムの次数はpに応じて定められる。例えば、数4の正則化項におけるノルムがL1ノルムであれば、ノルムの次数は1とする。物体候補検出部106は、上述の方法で算出された重み係数ベクトルwを用いて物体候補検出を行うことで、物体候補検出の精度を高めることができる。
なお、圧縮特徴ベクトル生成部105は、他の手法を用いて重み係数ベクトルを算出してもよい。また、圧縮特徴ベクトル生成部105が重み係数ベクトルを算出せず、圧縮特徴識別器107に、予め所定の重み係数ベクトルが格納されていてもよい。
また、物体候補検出部106は、ステップS203~ステップS206に示した識別関数h(x)による判定処理に代えて、ナイーブベイズ法による圧縮特徴識別器107を用いて各ブロックが物体候補ブロックであるか否かを判定してもよい。このとき、物体候補検出部106は、ブロックに対して圧縮特徴ベクトルxが与えられたとき、当該ブロックが物体候補ブロックであるか否かを、下記の数5又は数6によって判定する。
yは物体候補ラベル(0:非物体候補、1:物体候補)、y*は物体候補の判定結果、p(y|x)は圧縮特徴ベクトルxが与えられたときの物体候補ラベルyの事後確率、p(y)は物体候補ラベルyの事前確率、p(xk|y)は物体候補ラベルyに対する分割圧縮特徴ベクトルxk(kは1以上K以下の整数)の尤度、Kは分割圧縮特徴ベクトルの個数である。
なお、分割圧縮特徴ベクトルxkは、例えば、圧縮特徴ベクトルxを圧縮符号化情報の種別ごとに分割することにより生成される。具体的には、例えば、圧縮特徴ベクトルxが、動きベクトル、周波数変換係数、及び予測残差から生成されたベクトルである場合、物体検出部102は、圧縮ベクトルxから3つの分割圧縮特徴ベクトルx1~x3を生成することができる。即ち、物体検出部102は、圧縮特徴ベクトルxの成分のうち、動きベクトルを示す成分からなるベクトルをx1、周波数変換係数を示す成分からなるベクトルをx2、予測残差を示す成分からなるベクトルをx3とすることができる。
また、ステップS202において、圧縮特徴ベクトル生成部105は、例えば、入力された有効な圧縮符号化情報それぞれから分割圧縮特徴ベクトルを生成し、生成した分割圧縮特徴ベクトルを物体候補検出部106に対して出力してもよい。
物体候補検出部106は、このようにK個の分割圧縮特徴ベクトルに対してそれぞれ尤度p(xk|y)を求め、数5によって複数の圧縮符号化情報を統合した事後確率p(y|x)を求める。算出した事後確率p(y|x)が所定の閾値以上である場合のみ、物体候補検出部106は、当該ブロックに物体候補フラグを立てる。
また、物体候補検出部106は、数6によって判定結果y*を算出し、当該ブロックが物体候補ブロックであるか否かを判定してもよい。物体候補検出部106は、算出した判定結果y*の値が1である場合のみ、当該ブロックに物体候補フラグを立てる。
物体検出装置10は、ナイーブベイズ法による圧縮特徴識別器107を用いることにより、圧縮特徴ベクトルxの成分に部分的な欠損が生じる場合でも、当該ブロックが物体候補ブロックであるか否かを判定することができる。例えば、当該ブロックの予測モードが画面内予測である場合、ストリーム解析部104は、当該ブロックにおける動きベクトルを得ることができない。
このとき、物体検出装置10は、動きベクトルに該当する尤度p(xk|y)を、適切な値(例えば0.5等)に設定した上で、ナイーブベイズ法による圧縮特徴識別器107を用いて物体候補ブロックの判定を行えばよい。物体検出装置10は、動きベクトルに該当する尤度及びその他の分割圧縮特徴ベクトルから、物体候補有無を高精度に判定することができる。なお、物体候補検出部106は、ベイジアンネットワークのようなグラフィカルモデルを用いて、p(y|x)を計算してもよい。
なお、記憶装置120が複数の圧縮特徴識別器107を保持する場合、物体候補検出部106は、例えば、各圧縮特徴識別器107を用いてステップS203~ステップS207の処理をそれぞれ行ってもよい。このとき、物体候補検出部106は、ステップS205において、圧縮特徴識別器107ごとに異なる物体候補フラグを立ててもよい。具体的には、物体候補検出部106は、例えば、車両を識別する圧縮特徴識別器107を用いたときは車両を示す候補フラグを、歩行者を識別する圧縮特徴識別器107を用いたときは歩行者を示す候補フラグを立ててもよい。
図3Aは、圧縮画像ストリームから生成された復号画像の一例を示す。復号画像30には、車両301と車両302が撮像されている。
図3Bは、圧縮画像ストリームから生成された復号画像の各ブロックにおける物体候補情報を示す。上述した通り、ストリームデータ処理部11は、画像のブロックごとに圧縮特徴ベクトルを生成し、各ブロックが物体候補ブロックであるか否かを判定する。物体候補ブロック303は、ストリームデータ処理部11により、物体候補を含むと判定されたブロック、即ち物体候補フラグが立っているブロックである。非物体候補ブロック304は、ストリームデータ処理部11により、物体候補を含まないと判定されたブロック、即ち物体候補フラグが立っていないブロックである。
なお、車両301又は車両302を含む候補ブロック、即ち物体候補ブロックにおいて、例えば以下のように特異な性質を有する圧縮符号化情報が観測される。例えば、物体が移動することに伴って動きベクトルのノルム(絶対値)が大きくなるため、物体候補検出部106は、学習済みの非物体候補ブロックに比べて動きベクトルのノルムが大きいブロックが物体候補(車両)ブロックである確率が高い、と判定できる。
また、路面や空と比較して車両のテクスチャは複雑であるため、車両を構成するブロックの周波数変換係数における所定周波数以上の高周波数成分の総和が大きい。そのため、物体候補検出部106は、学習済みの非物体候補ブロックの周波数変換係数と比較して高周波成分の総和が大きいブロックが物体候補ブロックである確率が高い、と判定できる。
他にも、車両を構成するブロックは連動して移動するため、当該ブロックにおける動きベクトルは、空間的に近接するブロックにおける動きベクトルと相関が高い。そのため、物体候補検出部106は、周囲のブロックの動きベクトルと同じ動きベクトルを持つブロックに対して、周囲のブロックと同じ判定(物体候補か否か)をしてもよい。さらに、車両が複数の物体候補ブロックを含む場合、その内部ブロック(例えば車両のボンネットやドア部分)は平坦なテクスチャとなるため、複雑なテクスチャと比較して量子化による視覚的影響を受けやすくなる。具体的には、高周波成分を量子化することによって、視認しやすい歪みが生じる。こうした量子化誤差の影響を減らすために量子化係数が低くなる。従って、物体候補検出部106は、学習済みの非物体候補ブロックと比較して量子化係数が高いブロックが物体候補ブロックである確率が高い、と判定することができる。
また、車両が奥行き方向に移動するとテクスチャのアフィン変形が発生するため、一般的な符号化技術では予測画像を生成することが難しくなり、結果として予測残差が増す。そのため、物体候補検出部106は、学習済みの非物体候補ブロックと比較して予測残差が大きいブロックが物体候補ブロックである確率が高い、と判定できる。
また、物体の輪郭部分を中心としてアフィン変形が発生するため、画面間予測では予測が難しくなり符号化コストが増す、結果として画面内予測モードが頻出する。そのため、周囲のブロックが画面間予測モードであるにも関わらず、対象ブロックが画面内予測モードの場合には、物体候補検出部106は対象ブロックが物体候補ブロックである確率が高い、と判定できる。
また、物体の出現により画像を撮像するカメラのゲインコントロールが働き、フレーム間の輝度予測係数(例えば、重み係数とオフセット係数)に変化が生じる。従って、物体候補検出部106は、輝度信号または色差信号において重み係数とオフセット係数が大きいフレームが物体候補ブロックを含む確率が高い、と判定できる。
上述した圧縮符号化情報は全て、物体検出に有効な圧縮符号化情報の一例である。従って、適切な重み係数ベクトル等を適用した圧縮特徴識別器107を用意しておけば、物体検出装置10は、圧縮画像ストリームを部分的に復号した情報から、高精度に物体候補を検出することができる。即ち、物体候補検出部106は、上記特性を持つ圧縮符号化情報から生成された圧縮特徴ベクトルxを数1に代入することで、各ブロックが物体候補ブロックである確率を算出することができる。
図4は、物体検出装置10による物体検出処理の一例を示す。まず、復号化部101は、既知の復号化方式を用いて圧縮画像ストリームから復号画像を生成し、物体検出部102に対して生成した復号画像を出力する(S401)。復号化部101は、例えば、一般的な動画像符号化規格を用いて符号化された画像を復号する場合、以下のようにして画像を復号する。復号化部101は、圧縮画像ストリームを可変長復号化し、可変長復号化した予測誤差信号を逆量子化し、逆量子化した予測誤差信号を逆周波数変換する。復号化部101は、さらに、逆周波数変換された予測残差信号と、画面内予測や画面間予測によって生成された予測画像信号とを加算することで復号画像を生成する。
復号化部101は、例えば、逆離散コサイン変換(IDCT:Inverse Discrete Cosine Transform)を用いて逆周波数変換を行うことができる。また、復号化部101は、逆フーリエ変換(IDFT:Inverse Discrete Fourier Transform)や逆離散サイン変換(IDST:Inverse Discrete Sine Transform)を利用して、逆周波数変換を行ってもよい。
一般に復号画像の生成には時間を要するため、復号化部101による画像復号と並列して、ストリームデータ処理部11は、ステップS201~ステップS207における処理を行う。即ち、ストリームデータ処理部11は、物体候補を検出し、物体検出部102に対して物体候補情報を出力する(S402)。物体検出装置10は、ステップS401及びステップS402の処理を並列に行わなくてもよいが、当該処理を並列に行うことにより、物体ステップS403における処理を開始するまでの時間を短縮することができる。
ステップS401及びステップS402における処理が終了したら、物体検出部102は、入力された物体候補情報において、各ブロックに物体候補フラグが立っているか否かを判定する(S403)。物体候補フラグが立っているブロックの場合(S403:YES)、物体検出部102は、利用する物体識別器108に対応する特徴量を復号画像から算出し、当該ブロックの近傍領域に対して、算出した特徴量を代入した物体識別器108を走査する(S404)。
具体的には、物体検出部102は、例えば、当該物体候補ブロックから左上方向に1ブロックシフトした位置を左上頂点とした、所定のサイズ(例えば100×100画素等)の矩形領域に対して、所定の複数スケールの物体識別器108を走査する。当該矩形領域を物体候補領域と呼ぶ。なお、走査する物体識別器108の各スケールにおける縦、横の画素数は、それぞれ物体候補領域の縦、横の画素数以下である。
例えば、物体検出部102は、例えば10×10画素等の小さなサイズの物体識別器108を走査することで、画像の撮像地点の遠方にある小さく表示された物体を検出することができる。また、例えば、物体検出部102は、例えば100×100画素等の大きなサイズの物体識別器108を走査することで、画像の撮像地点の近傍にある大きく表示された物体を検出することができる。
物体検出部102は、複数スケールの物体識別器108を物体候補領域に対して走査することで、画像の撮像地点の近傍及び遠方にある物体をくまなく探索することができる。また、物体検出部102は、複数スケールの物体識別器108による識別結果を統合することで、物体候補領域に含まれる物体の外形を検出することができる。さらに、物体検出部102は、例えば、車両を識別する物体識別器108を利用する場合は物体候補ブロックから左上方向に3ブロックシフトした位置、歩行者を識別する物体識別器108を利用する場合は物体候補ブロックから左上方向に1ブロックシフトした位置のように、対象物体の移動可能速度に応じて物体候補領域の左上頂点の位置を選択してもよい。
また、物体検出部102は、物体識別器108のスケールを変化させるのではなく、画像自体を縮小してピラミッド画像を形成し、各スケールの画像に対して所定スケールの物体識別器108を走査してもよい。物体検出部102が、物体識別器108のスケールを変化させる場合も、画像のスケールを変化させる場合も、同様の結果を得ることができる。
なお、物体検出部102は、各物体候補ブロックから定まる物体候補領域に対して複数スケールの物体識別器108を走査するため、物体候補領域から物体を検出する計算量は、物体候補ブロックを検出する計算量よりも大きい。物体検出部102は、ストリームデータ処理部11が抽出した物体候補ブロックに対応する物体候補領域のみから物体検出を行うことで、復号画像を全探索する場合、即ち全ブロックが物体候補ブロックである場合と比較して、高速に物体検出を行うことができる。
物体検出部102は、ステップS404において、例えば、下記の数7に示すHaar-like特徴を用いた物体識別器108を走査する。
H(p)は物体識別器108、pは当該物体識別器108を適用する領域におけるHaar-like特徴で構成される特徴ベクトル、ht(p)はt番目の弱識別器(tは1以上T以下の整数)、αtはt番目の弱識別器ht(p)の重み係数である。即ち、物体識別器108は弱識別器の重み付き投票によって表現される。sign()は、符号関数であり、括弧内が正の値であれば+1を、負の値であれば-1を返す。H(p)=+1である場合、物体検出部102は、当該物体識別器108を適用した領域が物体であると判定する。H(p)=-1である場合、物体検出部102は、当該物体識別器108を適用した領域が物体でないと判定する。
なお、弱識別器ht及び重み係数αtは、例えば、予め学習により与えられ、物体識別器108に格納されている。Haar-like特徴で構成される特徴ベクトルpは、物体検出部102によって、復号画像から生成される。また、数7の右辺括弧内の弱識別器ht(p)は、下記の数8のように表すことができる。
ここで、ft(p)は、Haar-like特徴で構成される特徴ベクトルに対するt番目の特徴量であり、θtはt番目の閾値である。Haar-like特徴における特徴量ft(p)は、領域間の輝度平均の差分を示す。
なお、物体検出部102は、他の特徴量を復号画像から算出し、当該特徴量と他の学習手法と、を組み合わせた物体識別器108を用いて、物体検出を行ってもよい。また、物体検出部102は、例えば、HOG(Histograms of Oriented Gradients)特徴とSVM(Support Vector Machine)学習とを組み合わせた物体識別器108を用いて物体検出を行ってもよい。
また、物体検出部102は、例えば、CNN(Convolutional Neural Network)学習によって自動算出された特徴量とロジスティック回帰とを組み合わせた物体識別器108を用いて物体検出を行ってもよい。また、物体検出部102は、CNN学習器及びNeural Network識別器を複数層(例えば3層以上)重ねたDeep Neural Networkによる物体識別器108を用いて物体検出を行ってもよい。
物体検出部102は、復号画像から算出される特徴量を用いて物体検出を行うことにより、高精度に物体検出を行うことができる。具体的には、物体検出部102は、例えば、物体候補領域が車両等の自車と衝突する可能性が有る物体であるか、それとも影等の衝突可能性がないノイズ等であるかを、高精度に判定することができる。
物体検出部102は、上述した処理によって物体検出されたか否かを判定する(S405)。物体検出された場合(S405:YES)、物体検出部102は、圧縮画像ストリームの複数の復号画像を用いて、当該物体を時系列で追跡する(S406)。物体検出部102は、例えば、カルマンフィルタやパーティクルフィルタ等の、既知の追跡手法を用いて当該物体を追跡することができる。物体検出部102は、当該物体の追跡結果を含む物体情報を、出力部103に対して出力する。
出力部103は、入力された物体情報に含まれる追跡結果から、自車と物体との距離、物体の速度及び加速度を算出し、自車と物体が衝突するまでの時間を算出する(S407)。以下、当該時間を衝突時間(TTC:Time-To-Collision)と呼ぶ。衝突時間は、衝突の危険度を反映する値の一例であり、衝突時間が短いほど、衝突の危険度が高い。
出力部103は、衝突時間が所定の閾値未満であると判定した場合(S407:YES)、警報制御やブレーキ制御などを行うための制御情報を出力する(S408)。ステップS405において、物体検出されなかった場合(S405:NO)、又はステップS407において、衝突時間が所定の閾値以上である場合(S407:NO)、処理を終了する。なお、S408において、出力部103は衝突時間の値に応じて、段階的に出力する制御情報を変更してもよい。また、ステップS407において、出力部103が算出する値は、衝突の危険度を反映する値であればよく、衝突時間に限られない。
なお、記憶装置120が複数の物体識別器108を保持する場合、物体検出部102は、例えば、各物体識別器108を用いてステップS404~ステップS406の処理をそれぞれ行ってもよい。また、ステップS205において、物体候補検出部106が、圧縮特徴識別器107ごとに異なる物体候補フラグを立てた場合、物体検出部102は、当該物体候補フラグに対応する物体識別器108のみを用いて物体検出の判定を行ってもよい。具体的には、例えば、物体候補検出部106が当該ブロックに車両を示す候補フラグのみを立てた場合、物体検出部は車両を識別する物体識別器108のみを用いて物体検出の判定を行えばよい。
本実施例の物体検出装置10は、物体候補ブロックを抽出し、復号画像上で当該物体候補ブロックを含む物体候補領域のみを走査して物体候補検出を行うことにより、復号画像内を全探索する方式と比較して計算時間を削減することができる。即ち、本実施例の物体検出装置10は、高速に物体検出を行うことができる。また、物体検出装置10は、圧縮符号化情報に基づいて物体候補ブロックを抽出することにより、高精度に物体候補ブロックを検出することができる。また、物体検出装置10は、復号画像から算出される特徴量を用いて物体検出を行うため、高精度に物体検出を行うことができる。
また、物体検出装置10は、復号画像の生成と並行して、圧縮画像ストリームを部分的に復号し、物体候補ブロックを検出することで、物体検出部102による物体検出処理開始までの時間を短縮することができるため、さらに高速に物体を検出することができる。また、物体検出装置10は、抽出した圧縮符号化情報を統合した圧縮特徴ベクトルを用いて物体候補検出のための判定を行うことにより、さらに高精度に物体候補ブロックを検出することができる。また、物体検出装置10は、圧縮特徴ベクトルの次元を調整することにより、例えば、画面内予測や画面間予測など様々な符号化モードが混在する圧縮画像ストリームからでも物体候補を検出できる。
本実施例は、物体検出装置10を搭載した車両を含む車両システムを説明する。図5は、本実施例の車両システムの構成例を示す。本実施例の車両システムは、物体検出装置10、カメラ501、符号化装置502、車載センサ503、ディスプレイ504、スピーカ505、ブレーキ506、アクセル507、及びステアリング508を含む。
カメラ501は、車両に搭載され車両の周囲を撮像する。符号化装置502は、カメラ501によって撮像された画像から圧縮画像ストリームを生成し、当該圧縮画像ストリームを物体検出装置10に対して出力する。
車載センサ503は、例えば車両の車輪速や操舵角等を計測し、計測した情報を圧縮特徴ベクトル生成部509に対して出力する。ディスプレイ504は、例えば車両の室内に設けられ、復号画像等を表示する。スピーカ505は、例えば車両の室内に設けられ、警報音等を出力する。ブレーキ506は、車両の減速を行う。アクセル507は、車両の加速を行う。ステアリング508は、車両の操舵を行う。
物体検出装置10の構成は、実施例1と同様である。但し、圧縮特徴ベクトル生成部509が、車載センサ503が計測した車速度、及び操舵角等の車両情報の入力を受け付け、入力された車両情報を用いて、圧縮特徴ベクトルを生成する点が異なる。
物体検出装置10は、高速移動中の車両に搭載されたカメラ501が撮像した画像を用いて物体検出を行う場合、自車移動、即ちカメラ501の移動を考慮した圧縮特徴ベクトルを生成することにより、より精度の高い物体候補検出を行うことができる。具体的には、圧縮特徴ベクトル生成部509は、入力された圧縮符号化情報に動きベクトルが含まれる場合、自車移動によって生じる動きベクトルと、対象物体の動きベクトルと、を切り分ける。
そこで、圧縮特徴ベクトル生成部509は、入力された車速度と操舵角情報とを使って自車移動量を計算するデッドレコニングを実行する。圧縮特徴ベクトル生成部509は、デッドレコニングの結果から自車移動分の動きベクトルを算出し、ストリーム解析部104が抽出した動きベクトルから自車移動分の動きベクトルをキャンセルする。
図6は、本実施例における圧縮特徴ベクトル生成処理の一例を示す。圧縮特徴ベクトル生成部509は、車載センサ503が計測した車速度及び操舵角等を用いてデッドレコニングを行い、自車移動量(車両の位置と姿勢)を計算する(S601)。その後、圧縮特徴ベクトル生成部509は、算出した自車移動量を画像上の各ブロックにおける動きベクトルに変換する(S602)。
圧縮特徴ベクトル生成部509は、自車移動に起因する動きベクトルと、圧縮符号化特徴に含まれる動きベクトルとの差のノルムが所定の閾値未満であるか否かを判定する(S603)。当該ノルムが閾値未満である場合(S603:YES)、圧縮画像ストリーム上の動きベクトルは自車移動によって生じたものである考えられるため、圧縮特徴ベクトル生成部105は、圧縮符号化特徴に含まれる動きベクトルを無効化する(S604)。具体的には、圧縮特徴ベクトル生成部105は、例えば、圧縮符号化特徴に含まれる動きベクトルをゼロベクトルに設定する。これによって、圧縮特徴ベクトル生成部105は、自車移動によって生じる動きベクトルをキャンセルすることができる。
最後に、圧縮特徴ベクトル生成部105は、圧縮特徴ベクトルxを生成する(S605)。なお、ステップS603において当該ノルムが閾値以上である場合(S603:No)、ステップS605に遷移する。物体検出装置10は、ステップS605における処理を行った後に、ステップS203~ステップS207及びステップS401~ステップS408における処理を行う。
なお、圧縮特徴ベクトル生成部509は、入力された圧縮符号化情報に動きベクトルが含まれていない場合、ステップS601~ステップS604の処理を行わなくてもよい。つまり、このとき圧縮特徴ベクトル生成部509は、実施例1と同様の方法で圧縮特徴ベクトルを生成すればよい。
なお、ステップS408において、出力部103は、物体検出部102が出力した物体情報から、衝突の危険度を算出し、衝突の危険度に応じた制御情報を出力する。衝突の危険度が低いときは、出力部103は、例えば、ディスプレイ504に危険箇所を表示する制御情報、又はスピーカ505によって警報音を発する制御情報等を出力する。衝突の危険度が高い場合は、出力部103は、例えば、ブレーキ506やステアリング508に対して制御情報を出力し、車両の動きを直接制御する。出力部103は、上述した制御情報の出力よって、ドライバにとって違和感の少ない安全運転支援システムを実現する。
また、出力部103は、物体検出部102が物体を検出した場合、符号化装置502に対して画質制御情報を出力してもよい。例えば、出力部103は、当該物体近傍領域の画質を改善するために、当該物体近傍の量子化パラメータ(QP)を下げる、又は目標ビットレートを上げる、などの画質制御情報を符号化装置502に対して出力する。なお、物体近傍領域とは、例えば、当該物体を含む矩形領域又は楕円領域のうち面積が最小である領域等のように、復号画像中の当該物体を含む領域を指す。
また、出力部103は、当該物体近傍領域の解像度を向上させる超解像処理を施す、又はカメラがインターレースの場合、インターレース映像信号をプログレッシブ映像信号に変換するI/P変換を施す、などの画質制御情報を符号化装置502に対して出力してもよい。当該処理によって、本実施例の車両システムは、物体近傍領域の圧縮率を下げる(画質を上げる)、画質制御が可能となる。また、出力部103は、画像中の物体近傍領域を除いた領域を示す背景領域の圧縮率を上げる(画質を落とす)、画質制御情報を符号化装置502に対して出力してもよい。
本実施例の車両システムは、自車と物体との衝突の危険度を判定し、危険度が高いと判定したタイミングで警報や制御を行うことができ、ドライバの運転支援が可能となる。また、車両システムは、車載センサ情報を用いて、自車移動によって生じる動きベクトルをキャンセルすることができるため、高精度に物体候補検出を行うことができる。
また、車両システムは、物体検出結果に応じて画像符号化の圧縮率を好適に制御することができ、より信頼性の高い物体検出を実現できる。即ち、物体近傍領域の圧縮率を下げ画質を向上させることにより、ノイズに影響されにくい画像認識が可能となる。さらに、車両システムは、背景領域の圧縮率を上げて画質を落とすことにより、物体近傍領域の圧縮率を下げた場合でも、車載LANの帯域を超過させることなく、圧縮画像ストリームを伝送することができる。
本実施例は、物体検出装置10及びマルチカメラを搭載した車両を含む車両システムを説明する。図7は、本実施例における車両システムに搭載されたカメラの撮像範囲の例を示す。自車両700の前面にカメラ701、後面にカメラ702、右側面にカメラ703、左側面にカメラ704がそれぞれ設置されている。カメラ701~704が、例えば視野角180度程度の広角カメラであれば、自車両の全周囲を撮像することができる。カメラ701~704は、撮像範囲705~708を、それぞれ撮像する。
図8は、本実施例の車両システムの構成例を示す。本実施例の車両システムは、4台のカメラ701~704、カメラ701~704にそれぞれ対応する符号化装置801~804、及びECU80を含む。カメラ701~704は、車両の周囲の一定範囲を撮像できるように配置されていれば、当該配置に制限はない。つまり、カメラ701~704は、図7に例示したように車両の前面、後面、右側面、及び左側面に1台ずつ配置されていてもよいし、例えば、車両の前面、及び後面に2台ずつ配置されていてもよい。また、車両の周囲の一定範囲を撮像でき、かつ圧縮画像ストリームの伝送によって車載LANの帯域を超過しなければカメラの台数に制限はない。
符号化装置801~804は、それぞれカメラ701~704が撮像した画像の圧縮画像ストリームを生成し、ECU80に対して出力する。ECU80は、物体検出装置10、及び画質制御装置805を含む。物体検出装置10の構成は、実施例1又は実施例2と同様である。物体検出装置10は、入力された圧縮画像ストリームを用いて物体検出を実行し、画質制御装置805へと制御情報を出力する。当該制御情報は、例えば、各カメラ701~704が撮像した画像における物体情報(物体有無、物体数、物体の座標等)を含む。
画質制御装置805は、入力された物体情報に基づいて、符号化装置801~804を統合制御するための画質制御情報を出力する。具体的には、画質制御装置805は、撮像範囲に物体の存在しないカメラによる画像の圧縮率を高め、撮像範囲に物体の存在するカメラによる画像の圧縮率を低く設定するための画質制御情報を出力する。
つまり、画質制御装置805は、各カメラ701~704の目標ビットレートを定める情報を、各カメラ701~704に対応する符号化装置801~804に対して出力する。画質制御装置805は、上述した処理により、物体検出装置10に入力される圧縮画像ストリームのデータ量を制御することができる。また、画質制御装置805は、例えば、撮像範囲に物体の存在しない画像を撮像したカメラによって撮像される画像の出力を停止する制御情報を、当該カメラに対応する符号化装置に対して、出力してもよい。画像の出力を停止する制御情報は、画質制御情報の一例である。
なお、画質制御装置805は、例えば、車載センサ情報や自車の運転状態についての情報を受信し、当該情報に応じた画質制御情報を出力してもよい。例えば、画質制御装置805は、受信した操舵角やシフトポジション等の運転状態情報から自車の進行方向を判定する。画質制御装置805は、例えば、撮像範囲に物体が存在しないカメラであっても、当該カメラが進行方向を撮像していれば、当該カメラに対応する符号化装置に対して、画像の圧縮率を高める画質制御情報を出力しない、若しくは画像の圧縮率を低くする画質制御情報を出力してもよい。
本実施例の車両システムは、複数台のカメラを用いて自車両の周囲の撮像を行うことで、自車両の周囲を広くセンシングすることができ、広範囲において物体を検出することができる。また、本実施例の車両システムは、カメラの撮像範囲内における物体の存否に応じて、各カメラの画像の画質を制御することで、複数台のカメラを設置した場合であっても、車載LANの帯域を超過することなく、複数のカメラ画像を伝送することができ、さらに、高速かつ高精度に物体を検出することができる。
本発明は、上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明のより良い理解のために詳細に説明したのであり、必ずしも説明の全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることが可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、SSD(Solid State Drive)等の記録装置、または、ICカード、SDカード、DVD等の記録媒体に置くことができる。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
Claims (12)
- ビットストリーム形式によってブロック単位で圧縮符号化された画像データである圧縮画像ストリームの入力を受け付け、前記入力された圧縮画像ストリームの復号画像から特定の物体を検出する、物体検出装置であって、
前記入力された圧縮画像ストリームに含まれるブロックから、圧縮後の画像の特徴を示す所定の圧縮符号化情報を抽出するストリーム解析部と、
前記抽出された所定の圧縮符号化情報に基づいて、前記ブロックが、前記特定の物体の少なくとも一部を含む候補ブロックであるか否か、を判定する物体候補検出部と、
前記圧縮画像ストリームから復号された復号画像において、前記候補ブロックを含む所定サイズの候補領域を特定し、前記候補領域の画像データから所定の特徴量を算出し、前記算出された特徴量に基づいて前記候補領域が前記特定の物体の少なくとも一部を含むか否かを判定する物体検出部と、を含む物体検出装置。 - 請求項1に記載の物体検出装置であって、
前記所定の圧縮符号化情報は、周波数変換係数における高周波成分の総和を含み、
前記物体候補検出部は、前記ブロックの周波数変換係数における高周波成分の総和から算出される前記ブロックが前記候補ブロックである確率に基づいて、前記ブロックが前記候補ブロックであるか否かを判定する物体検出装置。 - ビットストリーム形式によってブロック単位で圧縮符号化された画像データである圧縮画像ストリームの入力を受け付け、前記入力された圧縮画像ストリームの復号画像から特定の物体を検出する、物体検出装置であって、
前記入力された圧縮画像ストリームに含まれるブロックから、圧縮後の画像の特徴を示す所定の複数種別の圧縮符号化情報を抽出するストリーム解析部と、
前記所定の複数種別の圧縮符号化情報を統合し、前記ブロックにおける所定次元の圧縮特徴ベクトルを生成する圧縮特徴ベクトル生成部と、
前記生成された圧縮特徴ベクトルに基づいて、前記ブロックが、前記特定の物体の少なくとも一部を含む候補ブロックであるか否か、を判定する物体候補検出部と、
前記圧縮画像ストリームから復号された復号画像において、前記候補ブロックを含む所定サイズの候補領域を特定し、前記候補領域の画像データから所定の特徴量を算出し、前記算出された特徴量に基づいて前記候補領域が前記特定の物体の少なくとも一部を含むか否かを判定する物体検出部と、を含む物体検出装置。 - 請求項3に記載の物体検出装置であって、
前記物体候補検出部は、
前記生成された圧縮特徴ベクトルを圧縮符号化情報の種別ごとに分割し、
前記ブロックが候補ブロックであるか否かを示す物体候補ラベルに対する前記ブロックにおける前記分割された圧縮特徴ベクトルのそれぞれの尤度の積に基づいて、前記ブロックが前記候補ブロックであるか否かを判定する物体検出装置。 - 請求項1に記載の物体検出装置であって、
前記物体候補検出部は、
前記所定の圧縮符号化情報を、所定の重みを適用した識別器に代入し、
前記識別器からの出力値に基づいて、前記ブロックが前記候補ブロックであるか否かを判定する物体検出装置。 - 請求項5に記載の物体検出装置であって、
前記重みは、過去の複数ブロックにおける圧縮符号化情報を学習データとする学習によって算出された値である物体検出装置。 - 請求項1に記載の物体検出装置であって、
前記物体検出装置は、車両に搭載され、
前記所定の圧縮符号化情報は、前記圧縮画像ストリームから抽出された動きベクトルを含み、
前記物体候補検出部は、前記車両の速度情報と前記車両の操舵角情報とから算出される前記圧縮画像ストリームにおける自車移動成分ベクトルを、前記動きベクトルから除いた補正後動きベクトルに基づいて、前記ブロックが前記候補ブロックであるか否かを判定する物体検出装置。 - 請求項1に記載の物体検出装置を搭載する車両と、
前記車両の周囲を撮像する、1又は複数の撮像装置と、
前記1又は複数の撮像装置が撮像した画像の入力を受け付け、前記入力された画像の圧縮画像ストリームを生成し、前記生成した圧縮画像ストリームを前記物体検出装置に対して出力する符号化装置と、を含む車両システム。 - 請求項8に記載の車両システムであって、
前記物体検出装置は、
前記1又は複数の撮像装置が撮像した画像から、前記特定の物体を含む物体近傍領域を特定し、前記物体近傍領域の画質を制御する画質制御情報を、前記符号化装置に対して出力し、
前記符号化装置は、前記画質制御情報に基づいて、前記入力された画像の圧縮画像ストリームを生成する車両システム。 - 請求項8に記載の車両システムであって、
前記1又は複数の撮像装置が撮像した画像の画質を、前記1又は複数の撮像装置の撮像範囲に前記特定の物体が含まれるか否かに基づいて制御する画質制御情報を、前記符号化装置に対して出力する画質制御装置をさらに含み、
前記符号化装置は、前記画質制御情報に基づいて、前記入力された画像の圧縮画像ストリームを生成する車両システム。 - 請求項8に記載の車両システムであって、
前記物体検出装置は、前記圧縮画像ストリームの複数の復号画像において前記特定の物体を追跡し、前記特定の物体の追跡結果に基づいて前記車両と前記特定の物体との衝突危険度を算出し、前記衝突危険度が所定の閾値以上である場合、前記衝突危険度に応じて、前記車両の操作を制御する制御情報を前記車両に対して出力する車両システム。 - ビットストリーム形式によってブロック単位で圧縮符号化された画像データである圧縮画像ストリームの復号画像から特定の物体を検出する方法であって、
前記圧縮画像ストリームに含まれるブロックから、圧縮後の画像の特徴を示す所定の圧縮符号化情報を抽出する手順と、
前記抽出された所定の圧縮符号化情報に基づいて、前記ブロックが、前記特定の物体の少なくとも一部を含む候補ブロックであるか否か、を判定する手順と、
前記圧縮画像ストリームから復号された復号画像において、前記候補ブロックを含む所定サイズの候補領域を特定し、前記候補領域の画像データから所定の特徴量を算出し、前記算出された特徴量に基づいて前記候補領域が前記特定の物体の少なくとも一部を含むか否かを判定する手順と、を含む方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP15828062.8A EP3176752A4 (en) | 2014-07-28 | 2015-06-03 | Object detecting device |
US15/328,263 US20170220879A1 (en) | 2014-07-28 | 2015-06-03 | Object detection apparatus |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014-152669 | 2014-07-28 | ||
JP2014152669A JP6282193B2 (ja) | 2014-07-28 | 2014-07-28 | 物体検出装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2016017272A1 true WO2016017272A1 (ja) | 2016-02-04 |
Family
ID=55217177
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2015/066038 WO2016017272A1 (ja) | 2014-07-28 | 2015-06-03 | 物体検出装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20170220879A1 (ja) |
EP (1) | EP3176752A4 (ja) |
JP (1) | JP6282193B2 (ja) |
WO (1) | WO2016017272A1 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016192494A1 (zh) * | 2015-05-29 | 2016-12-08 | 阿里巴巴集团控股有限公司 | 一种图像处理方法及装置 |
EP3544293A4 (en) * | 2016-11-21 | 2020-12-16 | Kyocera Corporation | IMAGE PROCESSING DEVICE, IMAGING DEVICE AND DISPLAY SYSTEM |
US10937177B2 (en) | 2018-01-31 | 2021-03-02 | Fujitsu Limited | Non-transitory computer readable recording medium, method, and device for determining moving state |
US20220009519A1 (en) * | 2020-07-08 | 2022-01-13 | Hyundai Motor Company | Fire spreading prevention system for vehicles |
Families Citing this family (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11328403B2 (en) | 2020-01-22 | 2022-05-10 | Gary B. Levin | Apparatus and method for onboard stereoscopic inspection of vehicle tires |
CN106156807B (zh) | 2015-04-02 | 2020-06-02 | 华中科技大学 | 卷积神经网络模型的训练方法及装置 |
US10460251B2 (en) * | 2015-06-19 | 2019-10-29 | Preferred Networks Inc. | Cross-domain time series data conversion apparatus, methods, and systems |
JP2017162438A (ja) * | 2016-03-11 | 2017-09-14 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 危険予測方法 |
CN107180220B (zh) | 2016-03-11 | 2023-10-31 | 松下电器(美国)知识产权公司 | 危险预测方法 |
US10848668B2 (en) | 2016-05-19 | 2020-11-24 | Avago Technologies International Sales Pte. Limited | 360 degree video recording and playback with object tracking |
US11019257B2 (en) | 2016-05-19 | 2021-05-25 | Avago Technologies International Sales Pte. Limited | 360 degree video capture and playback |
KR102613790B1 (ko) * | 2016-05-25 | 2023-12-15 | 주식회사 에이치엘클레무브 | 주행 학습 기반 자율 주행 시스템 및 방법 |
US10466714B2 (en) * | 2016-09-01 | 2019-11-05 | Ford Global Technologies, Llc | Depth map estimation with stereo images |
KR102440329B1 (ko) * | 2016-10-24 | 2022-09-02 | 삼성에스디에스 주식회사 | 영상 선택 방법 및 그 장치 |
JP6624106B2 (ja) * | 2017-02-09 | 2019-12-25 | 京セラドキュメントソリューションズ株式会社 | 画像読取装置、画像形成システム、画像読取方法及び画像読取プログラム |
KR20180105294A (ko) * | 2017-03-14 | 2018-09-28 | 한국전자통신연구원 | 이미지 압축 장치 |
JP6972757B2 (ja) * | 2017-08-10 | 2021-11-24 | 富士通株式会社 | 制御プログラム、制御方法、及び情報処理装置 |
JP6972756B2 (ja) * | 2017-08-10 | 2021-11-24 | 富士通株式会社 | 制御プログラム、制御方法、及び情報処理装置 |
KR101930884B1 (ko) * | 2017-09-29 | 2019-03-11 | 충북대학교 산학협력단 | 전방 차량 검출 장치 및 그 검출 방법 |
GB2582484B (en) * | 2017-12-01 | 2022-11-16 | Onesubsea Ip Uk Ltd | Systems and methods of pilot assist for subsea vehicles |
KR102458664B1 (ko) * | 2018-03-08 | 2022-10-25 | 삼성전자주식회사 | 차량의 주행을 보조하는 전자 장치 및 방법 |
EP3575986A1 (en) * | 2018-05-30 | 2019-12-04 | Robert Bosch GmbH | A lossy data compressor for vehicle control systems |
KR102261669B1 (ko) * | 2019-03-22 | 2021-06-07 | 주식회사 핀텔 | 인공신경망 기반 객체영역 검출방법, 장치 및 이에 대한 컴퓨터 프로그램 |
JP7400248B2 (ja) | 2019-07-31 | 2023-12-19 | 株式会社リコー | 移動体 |
JP7269134B2 (ja) * | 2019-08-28 | 2023-05-08 | Kddi株式会社 | 映像ストリームに影響した外的要因情報を推定するプログラム、サーバ、システム、端末及び方法 |
JP7143263B2 (ja) * | 2019-09-05 | 2022-09-28 | Kddi株式会社 | 符号化パラメータを用いて対象識別位置を決定する対象識別方法、装置及びプログラム |
JP7145830B2 (ja) * | 2019-09-12 | 2022-10-03 | Kddi株式会社 | 符号化パラメータ特徴量を利用した対象識別方法、装置及びプログラム |
JP2021106305A (ja) * | 2019-12-26 | 2021-07-26 | 日本電気株式会社 | データ圧縮装置、モデル生成装置、データ圧縮方法、モデル生成方法及びコンピュータプログラム |
KR102345258B1 (ko) * | 2020-03-13 | 2021-12-31 | 주식회사 핀텔 | 객체영역 검출방법, 장치 및 이에 대한 컴퓨터 프로그램 |
CN111950565B (zh) * | 2020-07-28 | 2022-05-20 | 山西大学 | 基于特征融合和朴素贝叶斯的抽象画图像方向识别方法 |
EP3985644A1 (en) * | 2020-10-15 | 2022-04-20 | Volvo Penta Corporation | An unmanned aircraft system, a control system of a marine vessel and a method for controlling a navigation system of a marine vessel |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001346224A (ja) * | 2000-03-31 | 2001-12-14 | Toshiba Corp | 動画像内の特定物体検出方法及び装置 |
JP2008028528A (ja) * | 2006-07-19 | 2008-02-07 | Matsushita Electric Ind Co Ltd | 画像符号化装置、方法およびシステム |
JP2008131572A (ja) * | 2006-11-24 | 2008-06-05 | Toshiba Corp | 監視カメラ装置および監視カメラの撮影方法 |
JP2008181324A (ja) * | 2007-01-24 | 2008-08-07 | Fujifilm Corp | 前方監視装置、前方監視プログラム、及び前方監視方法 |
JP2009271758A (ja) * | 2008-05-08 | 2009-11-19 | Denso Corp | 画像認識装置 |
EP2658255A1 (en) * | 2012-04-27 | 2013-10-30 | Siemens Aktiengesellschaft | Methods and devices for object detection in coded video data |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8204323B2 (en) * | 2003-06-05 | 2012-06-19 | Aware, Inc. | Image quality control techniques |
US7403664B2 (en) * | 2004-02-26 | 2008-07-22 | Mitsubishi Electric Research Laboratories, Inc. | Traffic event detection in compressed videos |
JP2007266652A (ja) * | 2004-05-31 | 2007-10-11 | Matsushita Electric Ind Co Ltd | 移動物体検出装置、移動物体検出方法、移動物体検出プログラム、映像復号化装置、映像符号化装置、撮像装置及び映像管理システム |
US8108147B1 (en) * | 2009-02-06 | 2012-01-31 | The United States Of America As Represented By The Secretary Of The Navy | Apparatus and method for automatic omni-directional visual motion-based collision avoidance |
JP5663352B2 (ja) * | 2011-03-03 | 2015-02-04 | 日本電産エレシス株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
US10089537B2 (en) * | 2012-05-18 | 2018-10-02 | Magna Electronics Inc. | Vehicle vision system with front and rear camera integration |
US9292751B2 (en) * | 2012-09-14 | 2016-03-22 | Honda Motor Co., Ltd. | Object identifier |
KR20150100452A (ko) * | 2014-02-25 | 2015-09-02 | 최해용 | 고광도 헤드-업 디스플레이 장치 |
-
2014
- 2014-07-28 JP JP2014152669A patent/JP6282193B2/ja active Active
-
2015
- 2015-06-03 EP EP15828062.8A patent/EP3176752A4/en not_active Withdrawn
- 2015-06-03 US US15/328,263 patent/US20170220879A1/en not_active Abandoned
- 2015-06-03 WO PCT/JP2015/066038 patent/WO2016017272A1/ja active Application Filing
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001346224A (ja) * | 2000-03-31 | 2001-12-14 | Toshiba Corp | 動画像内の特定物体検出方法及び装置 |
JP2008028528A (ja) * | 2006-07-19 | 2008-02-07 | Matsushita Electric Ind Co Ltd | 画像符号化装置、方法およびシステム |
JP2008131572A (ja) * | 2006-11-24 | 2008-06-05 | Toshiba Corp | 監視カメラ装置および監視カメラの撮影方法 |
JP2008181324A (ja) * | 2007-01-24 | 2008-08-07 | Fujifilm Corp | 前方監視装置、前方監視プログラム、及び前方監視方法 |
JP2009271758A (ja) * | 2008-05-08 | 2009-11-19 | Denso Corp | 画像認識装置 |
EP2658255A1 (en) * | 2012-04-27 | 2013-10-30 | Siemens Aktiengesellschaft | Methods and devices for object detection in coded video data |
Non-Patent Citations (1)
Title |
---|
See also references of EP3176752A4 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016192494A1 (zh) * | 2015-05-29 | 2016-12-08 | 阿里巴巴集团控股有限公司 | 一种图像处理方法及装置 |
US10417770B2 (en) | 2015-05-29 | 2019-09-17 | Alibaba Group Holding Limited | Efficient acquisition of a target image from an original image |
EP3544293A4 (en) * | 2016-11-21 | 2020-12-16 | Kyocera Corporation | IMAGE PROCESSING DEVICE, IMAGING DEVICE AND DISPLAY SYSTEM |
US11030468B2 (en) | 2016-11-21 | 2021-06-08 | Kyocera Corporation | Image processing apparatus |
US10937177B2 (en) | 2018-01-31 | 2021-03-02 | Fujitsu Limited | Non-transitory computer readable recording medium, method, and device for determining moving state |
US20220009519A1 (en) * | 2020-07-08 | 2022-01-13 | Hyundai Motor Company | Fire spreading prevention system for vehicles |
US11904894B2 (en) * | 2020-07-08 | 2024-02-20 | Hyundai Motor Company | Fire spreading prevention system for vehicles |
Also Published As
Publication number | Publication date |
---|---|
JP6282193B2 (ja) | 2018-02-21 |
EP3176752A4 (en) | 2018-03-28 |
EP3176752A1 (en) | 2017-06-07 |
US20170220879A1 (en) | 2017-08-03 |
JP2016031576A (ja) | 2016-03-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6282193B2 (ja) | 物体検出装置 | |
US10349060B2 (en) | Encoding video frames using generated region of interest maps | |
US20180150704A1 (en) | Method of detecting pedestrian and vehicle based on convolutional neural network by using stereo camera | |
US11205068B2 (en) | Surveillance camera system looking at passing cars | |
GB2507395B (en) | Video-based vehicle speed estimation from motion vectors in video streams | |
KR101624210B1 (ko) | 초해상도 영상 복원 방법, 및 이를 이용한 불법 주정차 단속 시스템 | |
US11109152B2 (en) | Optimize the audio capture during conference call in cars | |
WO2015001878A1 (ja) | 接近物検出システム、及び車両 | |
JP5693162B2 (ja) | 画像処理システム、撮像装置、画像処理装置及びそれらの制御方法、プログラム | |
JP2009510827A (ja) | 動き検出装置 | |
US20210122367A1 (en) | Methods, devices, media, and apparatuses of detecting moving object, and of intelligent driving control | |
US11427195B1 (en) | Automatic collision detection, warning, avoidance and prevention in parked cars | |
US11161456B1 (en) | Using the image from a rear view camera in a three-camera electronic mirror system to provide early detection of on-coming cyclists in a bike lane | |
US11308641B1 (en) | Oncoming car detection using lateral emirror cameras | |
US11659154B1 (en) | Virtual horizontal stereo camera | |
US11586843B1 (en) | Generating training data for speed bump detection | |
JP2023539865A (ja) | リアルタイムなクロススペクトルオブジェクトの関連付け及び深度推定 | |
WO2013026205A1 (en) | System and method for detecting and recognizing rectangular traffic signs | |
CN110235177B (zh) | 图像处理装置、图像识别装置、以及存储介质 | |
JP2013069045A (ja) | 画像認識装置、画像認識方法および画像認識プログラム | |
Guo et al. | Blind spot obstacle detection from monocular camera images with depth cues extracted by CNN | |
JP7165353B2 (ja) | 画像特徴量出力装置、画像認識装置、画像特徴量出力プログラム、及び画像認識プログラム | |
Bagwe | Video frame reduction in autonomous vehicles | |
KR101669885B1 (ko) | 영상 기반 보행자 추돌 자동 검출 방법 및 이를 적용한 사물 인터넷 장치 | |
JP7143263B2 (ja) | 符号化パラメータを用いて対象識別位置を決定する対象識別方法、装置及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 15828062 Country of ref document: EP Kind code of ref document: A1 |
|
REEP | Request for entry into the european phase |
Ref document number: 2015828062 Country of ref document: EP |
|
WWE | Wipo information: entry into national phase |
Ref document number: 15328263 Country of ref document: US |
|
NENP | Non-entry into the national phase |
Ref country code: DE |