WO2018157835A1 - 基于运动注意力模型的360度全景视频编码方法 - Google Patents
基于运动注意力模型的360度全景视频编码方法 Download PDFInfo
- Publication number
- WO2018157835A1 WO2018157835A1 PCT/CN2018/077730 CN2018077730W WO2018157835A1 WO 2018157835 A1 WO2018157835 A1 WO 2018157835A1 CN 2018077730 W CN2018077730 W CN 2018077730W WO 2018157835 A1 WO2018157835 A1 WO 2018157835A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- motion
- motion vector
- attention
- block
- reliability
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/527—Global motion vector estimation
Definitions
- Step 4 Construct a sports attention model to obtain the motion attention of the coded block
- step 1 the motion vector reliability is defined as follows:
- v x and v y are components of the motion vector v in the x and y directions, respectively, and NF is a normalization factor.
- the spatial motion vector contrast is defined as follows:
- Step 1 Extract the motion vector to obtain the motion vector field, and calculate the reliability of each motion vector.
- the motion vector reliability g(v) is defined as follows:
- FIG. 3 is a motion vector field after reliability weighted filtering; the motion vector in the five circled portions of FIG. 2 is determined to be unreliable, and the motion vector around the circle is determined to be reliable, then After step 2, the unreliable motion vector in the circle is replaced by a reliable motion vector around it. At the same time, the motion vector elsewhere in the circle is judged to be reliable, and is left unreserved.
- Step 4 Construct a motion attention model to obtain the motion attention of the coding block; after the above global motion compensation processing, construct the motion vision model according to the modified motion vector, including three aspects: motion vector strength, airspace motion Vector contrast and time domain motion vector contrast.
- the motion vector strength is defined as follows:
- MA MI + MC s + MC t.
- the whiter area indicates that the calculated motion attention is greater, such as the contour edge of the moving human body. These areas are more concerned with the human eye, and the more codewords are assigned during encoding; the darker the calculated motion The smaller the attention, such as the vast majority of the background image, the human eye is less sensitive due to being at rest, and the codewords allocated during encoding are relatively small.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明涉及基于运动注意力模型的360度全景视频编码方法,包括：提取运动矢量得到运动矢量场，计算每个运动矢量的可靠度；根据可靠度进行可靠度的加权滤波预处理，以降低噪声；将运动矢量场进行全局运动补偿；构建运动注意力模型，得到编码块的运动注意力；根据得到编码块的运动注意力，自适应分配码字。本发明有益效果：运动注意力的计算是在运动矢量场的基础上进行,不需要额外的计算复杂度,减少噪声的影响,综合考虑了运动矢量强度、空域运动矢量对比度和时域运动矢量对比度构建运动注意力模型,对运动关注区域的分配较多码字，对不变化的视频区域分配较少码字，以此来提高运动关注场景的视频质量同时减少无用区域的编码码字。
Description
本发明涉及360度全景视频编码技术领域，具体地说是一种基于运动注意力模型的360度全景视频编码方法。
传统直播方式能够给观众带来实时的赛事享受，加入360度全景直播技术以后，除了能够营造出更具有现场感的观赛氛围，还突破了空间座位的限制，大大拓宽了收视群体。360度全景直播技术的发展不仅仅能够用于如演唱会、体育赛事等事件型直播，还能应用于医疗领域、房地产现场看房销售等。一般情况下，都为户外直播。在这种环境下，本身采集端网络极不稳定，影响用户观看360度全景直播时的质量。即使是室内直播，网络传输中所面临的卡顿，也是360度全景直播必须克服的问题。
随着用户对虚拟现实的真实性要求越来越高，目前普通的视频编码方案已无法满足在保证相同主观质量下减少360度全景视频的压缩码率。由于网络带宽条件有限，只能使用较低码流传输视频，但又希望看清关键目标时，视频感兴趣区域编码技术可以牺牲非感兴趣区域图像质量，对感兴趣区域进行集中资源编码，从而实现在不提高码流的条件下，获得关键目标信息，这样可以有效的避免了存储和带宽成本的增加。视频感兴趣区域变质量传输特性在监控领域非常实用，360度全景摄像机所采集到的画面都或多或少存在无用区域，同样占用传输带宽和存储，因此，只对关注区域的视频信息高质量传输，对不变化的视频少传或不传，以此来提高关注场景的视频质量及减少无用区域的编码码字。
发明内容
本发明的目的在于提供一种基于运动注意力模型的360度全景视频编码方法，可以复用编码中的运动矢量信息进行运动注意力区域的提出，并在编码时对运动关注区域的分配较多码字，对不变化的视频区域分配较少码字，从而实现在保证相同主观质量下有效的节省360度全景视频传输的带宽。
本发明采用的技术方案包括如下步骤：
步骤1：提取运动矢量得到运动矢量场，计算每个运动矢量的可靠度；
步骤2：根据可靠度进行可靠度的加权滤波预处理，以降低噪声；
步骤3：将步骤2修正后的运动矢量场进行全局运动补偿；
步骤4：构建运动注意力模型，得到编码块的运动注意力；
步骤5：根据步骤5得到编码块的运动注意力，自适应分配码字。
进一步地，在步骤1中，运动矢量可靠度定义如下：
其中v是当前块的运动矢量，MAD是当前块与匹配块的平均绝对差，μ
v是当前块8邻域块的平均运动矢量。
进一步地，在步骤2中进行可靠度加权滤波：若g(v)大于0.1，表示当前块运动矢量可靠，则不用做任何处理；若g(v)小于0.1，表示当前块运动矢量不可靠，则对不可靠运动矢量做可靠度加权向量中值滤波，使其周围可靠的运动矢量代替当前不可靠运动矢量。
进一步地，在步骤3中：将步骤3修正后的运动矢量场进行全局运动补偿，即统计当前帧中所有SKIP模式的运动矢量的均值，并对当前帧所有运动矢量减去该均值，得到全局运动补偿后运动矢量场。
进一步地，在步骤4中：运动注意力模型包括三方面的内容：运动矢量强度，空域运动矢量对比度和时域运动矢量对比度；
运动矢量强度定义如下：
其中v
x和v
y分别为运动矢量v的x和y轴方向的分量，NF是规一化因子。空域运动矢量对比度定义如下：
其中v表示当前块运动矢量，v
i表示空间8邻域块运动矢量。时域运动矢量对比度定义如下：
其中v
t表示当前块运动矢量，v
t-i表示时域相邻块运动矢量。每个编码块的运动注意力计算如下：
MA＝MI+MC
s+MC
t。
进一步地，在步骤5中：根据步骤4得到编码块的运动注意力来自适应分配码字，即对运动关注区域的分配较多码字，对不变化的视频区域分配较少码字，以此来提高运动关注场景的视频质量同时减少无用区域的编码码字，由此第n个编码块分配的码字计算如下：
其中MA
n表示第n个编码块的运动注意力，R
frame表示整帧的总码字。
和现有技术相比，本发明的有益效果为：
1)运动注意力的计算是在运动矢量场的基础上进行，运动矢量场直接从编码器中获得，因此不需要额外的计算复杂度；
2)其次提出了基于运动矢量可靠度加权的中值滤波方法对矢量场进行滤波处理，减少噪声的影响；
3)根据注意力形成的机理，综合考虑了运动矢量强度、空域运动矢量对比度和时域运动矢量对比度构建运动注意力模型。
4)最后根据得到的每个编码块的运动注意力自适应分配每个编码块的码字，对运动关注区域的分配较多码字，对不变化的视频区域分配较少码字，以此来提高运动关注场景的视频质量同时减少无用区域的编码码字。
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1是本发明的流程说明图；
图2是编码器中得到的原始运动矢量场；
图3是经过可靠度加权滤波后运动矢量场；
图4是经过全局运动补偿后运动矢量场；
图5是通过运动注意力模型得到的显著图。
现结合附图对本发明作进一步地说明。
参见图1，图1展示的是本发明的一个实施例的HEVC编码框，本实施例的目的在于提供一种基于运动注意力模型的360度全景视频编码方法，将注意力 模型加入其中，主要包括如下步骤：
步骤1：提取运动矢量得到运动矢量场，计算每个运动矢量的可靠度。
运动矢量从本实施例所采用的HEVC的参考编码器HM16.0中来进行提取，并获得运动矢量场。参见图2，图2中所显示的单个箭头即为运动矢量，为编码块相对于参考帧在一定搜索范围内的相对位移；由密布于视频的运动矢量共同构成了运动矢量场。
步骤2：根据可靠度进行可靠度的加权滤波预处理，以降低噪声。
由于物体的运动在时间和空间上都有连续性，所以运动矢量图各点之间并不是独立的，而是相互关联和约束的。在空间域，物体所对应的若干相连分块之间应该有相近的运动矢量。在时域，同一物体在不同时刻所在位置处也应该有相近的运动矢量。基于此，本发明提出了一种运动矢量可靠性的概念，计算运动矢量的可靠度；根据得到的运动矢量的可靠度，对不可靠运动矢量做运动矢量场的可靠度加权向量中值滤波，使周围可靠的运动矢量代替当前不可靠运动矢量。
运动矢量可靠度g(v)定义如下：
其中v是当前块的运动矢量，MAD是当前块与匹配块的平均绝对差，μ
v是当前块8邻域块的平均运动矢量。
HEVC的参考编码器HM16.0中获得的运动矢量是使得编码最优的运动矢量，并不是真实运动矢量(编码器中大多数的运动矢量与真实运动矢量是相近的)。因此步骤2中对运动矢量场进行滤波预处理，以减少噪声影响——若g(v)越大，表示当前块运动矢量越可靠，则不用做任何处理；若g(v)小于0.1，表示当前块运动矢量不可靠，则对不可靠运动矢量做可靠度加权向量中值滤波，使其周围可靠的运动矢量代替当前不可靠运动矢量。
参见图3，图3是经过可靠度加权滤波后运动矢量场；在图2的五处画圈部分中的运动矢量被判定为不可靠，而其圈周围的运动矢量被判定为可靠，则在经过步骤2之后由其周围可靠的运动矢量代替了圈中不可靠运动矢量。同时，在圈外其他地方的运动矢量被判定为可靠，则不作任何处理予以保留。
步骤3：将步骤2修正后的运动矢量场进行全局运动补偿；
当视频源由于摄像头运动而引入全局运动时，提取得到的运动矢量会因此受到影响。当全局运动程度不高时，全局运动所附加的效果对运动矢量影响较小；但当全局运动程度较高时，全局运动对运动矢量的影响便不能忽略不计。因此，需要对运动矢量图进行去全局运动补偿。本实施例采用的方法是统计当前帧中所有SKIP模式的运动矢量的均值，并对当前帧所有运动矢量减去该均值。参见图4，由于图像中背景内容大多为静止状态，则其运动矢量被判定为SKIP模式；在统计该SKIP模式的运动矢量的均值后，在整个图像中所有的运动矢量减去该均值，则获得了图4。在图4中可见，原本密布于画面上的大部分运动矢量由于被均值减去成为了不显眼的“点”或者“短箭头”；所留下的运动矢量(在三个有移动的人体上的运动矢量)由于全局运动补偿反而得到了显著的提升，这样便形成了进一步地差异，有明显对比。
步骤4：构建运动注意力模型，得到编码块的运动注意力；在上述全局运动补偿的处理之后，根据修正后运动矢量进行运动视觉模型的构建，包括三方面的内容：运动矢量强度，空域运动矢量对比度和时域运动矢量对比度。运动矢量强度定义如下：
其中v
x和v
y分别为运动矢量v的x和y轴方向的分量，NF是规一化因子。空域运动矢量对比度定义如下：
其中v表示当前块运动矢量，v
i表示空间8邻域块运动矢量。时域运动矢量对比度定义如下：
其中v
t表示当前块运动矢量，v
t-i表示时域相邻块运动矢量。每个编码块的运动注意力计算如下：
MA＝MI+MC
s+MC
t。
上述内容中，运动矢量强度MI较大的区域将会更多的引起人们的注意。当运动强度较小时，时空域运动矢量MC
s对比度将补偿这种不足。一方面采用运动矢 量空间邻域内的运动矢量空域对比度MC
t来描述局部运动注意力程度，另一方面由于时域运动矢量对低能量的运动非常敏感，所以它对运动矢量强度是很好的补偿。
步骤5：根据步骤4得到编码块的运动注意力，自适应分配码字。最后根据得到的每个编码块的运动注意力自适应分配每个编码块的码字，对运动关注区域的分配较多码字，对不变化的视频区域分配较少码字。以此来提高运动关注场景的视频质量同时减少无用区域的编码码字。因此，第n个编码块分配的码字计算如下：
其中MA
n表示第n个编码块的运动注意力，R
frame表示整帧的总码字。
参见图5，图中越白的区域表示计算得到的运动注意力越大，譬如移动的人体的轮廓边缘，这些范围人眼越关注，编码时分配的码字越多；越黑表示计算得到的运动注意力越小，譬如绝大部分的背景图像，由于处于静止状态因而人眼不太敏感，编码时分配的码字相对较少。
经验证，本实施例在HEVC的参考编码器HM16.0下，针对多个视频序列，相同主观质量情况下的码率减少11％。实施例可以复用编码中的运动矢量信息进行运动注意力区域的提出，并在编码时对运动关注区域的分配较多码字，对不变化的视频区域分配较少码字，从而实现在保证相同主观质量下有效的节省360度全景视频传输的带宽。
以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内。
Claims (6)
- 一种基于运动注意力模型的360度全景视频编码方法，其特征在于包括如下步骤：步骤1：提取运动矢量得到运动矢量场，计算每个运动矢量的可靠度；步骤2：根据可靠度进行可靠度的加权滤波预处理，以降低噪声；步骤3：将步骤2修正后的运动矢量场进行全局运动补偿；步骤4：构建运动注意力模型，得到编码块的运动注意力；步骤5：根据步骤5得到编码块的运动注意力，自适应分配码字。
- 根据权利要求1所述的一种基于运动注意力模型的360度全景视频编码方法，其特征在于：步骤1中，运动矢量可靠度定义如下：
其中v是当前块的运动矢量，MAD是当前块与匹配块的平均绝对差，μ v是当前块8邻域块的平均运动矢量。 - 根据权利要求2所述的一种基于运动注意力模型的360度全景视频编码方法，其特征在于：步骤2中进行可靠度加权滤波：若g(v)大于0.1，表示当前块运动矢量可靠，则不用做任何处理；若g(v)小于0.1，表示当前块运动矢量不可靠，则对不可靠运动矢量做可靠度加权向量中值滤波，使其周围可靠的运动矢量代替当前不可靠运动矢量。
- 根据权利要求1所述的一种基于运动注意力模型的360度全景视频编码方法，其特征在于：步骤3中：将步骤3修正后的运动矢量场进行全局运动补偿，即统计当前帧中所有SKIP模式的运动矢量的均值，并对当前帧所有运动矢量减去该均值，得到全局运动补偿后运动矢量场。
- 根据权利要求1所述的一种基于运动注意力模型的360度全景视频编码方法，其特征在于：步骤4中：运动注意力模型包括三方面的内容：运动矢量强度，空域运动矢量对比度和时域运动矢量对比度；运动矢量强度定义如下：
其中v x和v y分别为运动矢量v的x和y轴方向的分量，NF是规一化因子。空域运动矢量对比度定义如下：
其中v表示当前块运动矢量，v i表示空间8邻域块运动矢量。时域运动矢量对比度定义如下：
其中v t表示当前块运动矢量，v t-i表示时域相邻块运动矢量。每个编码块的运动注意力计算如下：MA＝MI+MC s+MC t。 - 根据权利要求1所述的基于运动注意力模型的360度全景视频编码方法，其特征在于，步骤5中：根据步骤4得到编码块的运动注意力来自适应分配码字，即对运动关注区域的分配较多码字，对不变化的视频区域分配较少码字，以此来提高运动关注场景的视频质量同时减少无用区域的编码码字，由此第n个编码块分配的码字计算如下：
其中MA n表示第n个编码块的运动注意力，R frame表示整帧的总码字。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710122773.0 | 2017-03-03 | ||
| CN201710122773.0A CN107454418B (zh) | 2017-03-03 | 2017-03-03 | 基于运动注意力模型的360度全景视频编码方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2018157835A1 true WO2018157835A1 (zh) | 2018-09-07 |
Family
ID=60486227
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/CN2018/077730 WO2018157835A1 (zh) | 2017-03-03 | 2018-03-01 | 基于运动注意力模型的360度全景视频编码方法 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN107454418B (zh) |
| WO (1) | WO2018157835A1 (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107454418B (zh) * | 2017-03-03 | 2019-11-22 | 叠境数字科技（上海）有限公司 | 基于运动注意力模型的360度全景视频编码方法 |
| CN108271020B (zh) * | 2018-04-24 | 2019-08-09 | 福州大学 | 一种基于视觉注意力模型的全景视频质量评价方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050140781A1 (en) * | 2003-12-29 | 2005-06-30 | Ming-Chieh Chi | Video coding method and apparatus thereof |
| CN101282479A (zh) * | 2008-05-06 | 2008-10-08 | 武汉大学 | 基于感兴趣区域的空域分辨率可调整编解码方法 |
| CN102572380A (zh) * | 2010-12-29 | 2012-07-11 | 中国移动通信集团公司 | 视频监控编码方法及其装置 |
| CN103765898A (zh) * | 2011-09-02 | 2014-04-30 | 索尼公司 | 图像处理设备、图像处理方法和程序 |
| CN107454418A (zh) * | 2017-03-03 | 2017-12-08 | 叠境数字科技（上海）有限公司 | 基于运动注意力模型的360度全景视频编码方法 |
-
2017
- 2017-03-03 CN CN201710122773.0A patent/CN107454418B/zh active Active
-
2018
- 2018-03-01 WO PCT/CN2018/077730 patent/WO2018157835A1/zh active Application Filing
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050140781A1 (en) * | 2003-12-29 | 2005-06-30 | Ming-Chieh Chi | Video coding method and apparatus thereof |
| CN101282479A (zh) * | 2008-05-06 | 2008-10-08 | 武汉大学 | 基于感兴趣区域的空域分辨率可调整编解码方法 |
| CN102572380A (zh) * | 2010-12-29 | 2012-07-11 | 中国移动通信集团公司 | 视频监控编码方法及其装置 |
| CN103765898A (zh) * | 2011-09-02 | 2014-04-30 | 索尼公司 | 图像处理设备、图像处理方法和程序 |
| CN107454418A (zh) * | 2017-03-03 | 2017-12-08 | 叠境数字科技（上海）有限公司 | 基于运动注意力模型的360度全景视频编码方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107454418A (zh) | 2017-12-08 |
| CN107454418B (zh) | 2019-11-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10805629B2 (en) | Video compression through motion warping using learning-based motion segmentation | |
| CN107439012B (zh) | 用于环内转换的方法、装置和计算机可读存储介质 | |
| Xu et al. | Region-of-interest based conversational HEVC coding with hierarchical perception model of face | |
| Rao et al. | A Survey of Video Enhancement Techniques. | |
| US20100060783A1 (en) | Processing method and device with video temporal up-conversion | |
| Li et al. | Weight-based R-λ rate control for perceptual HEVC coding on conversational videos | |
| Dong et al. | Human visual system-based saliency detection for high dynamic range content | |
| CN102158712B (zh) | 一种基于视觉的多视点视频信号编码方法 | |
| Lee et al. | Efficient video coding based on audio-visual focus of attention | |
| CN108122206A (zh) | 一种低照度图像降噪方法及装置 | |
| JPH07203435A (ja) | 歪んだ図形情報の強調方法及び装置 | |
| US20130279598A1 (en) | Method and Apparatus For Video Compression of Stationary Scenes | |
| JP2008048243A (ja) | 画像処理装置、画像処理方法および監視カメラ | |
| Yang et al. | Spatiotemporal generative adversarial network-based dynamic texture synthesis for surveillance video coding | |
| Yang et al. | Learning event guided high dynamic range video reconstruction | |
| WO2018157835A1 (zh) | 基于运动注意力模型的360度全景视频编码方法 | |
| Wu et al. | Virtual reality video quality assessment based on 3d convolutional neural networks | |
| US20060133472A1 (en) | Spatial scalable compression | |
| US10049436B1 (en) | Adaptive denoising for real-time video on mobile devices | |
| JP4596211B2 (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
| Kwon et al. | New video enhancement preprocessor using the region-of-interest for the videoconferencing | |
| US12094089B2 (en) | Intelligent video enhancement system | |
| CN112364200B (zh) | 一种类脑成像的方法、装置、设备及存储介质 | |
| JP5303399B2 (ja) | 動画像ビット深度削減装置及びプログラム | |
| KR20120019662A (ko) | 전송될 동영상의 전처리 방법 및 이를 이용한 동영상 전송시스템. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 18760473 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 18760473 Country of ref document: EP Kind code of ref document: A1 |
|
| 32PN | Ep: public notification in the ep bulletin as address of the adressee cannot be established |
Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 02.01.2020) |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 18760473 Country of ref document: EP Kind code of ref document: A1 |