ISP (Intra Subpartition Mode)

内部子分区(ISP)模式是VVC中新引入的工具之一。 它是一种分区机制,旨在对帧内预测块的非平稳特征进行建模。 具体来说,ISP将一个块的亮度分量垂直或水平地分割成K个大小相等的子分区,这些子分区以顺序的方式一一处理。

Layout

帧内子分区 (ISP) 根据块大小将亮度帧内预测块垂直或水平划分为 2 或 4 个子分区。 例如,ISP 的最小块大小为 4×8(或 8×4)。 如果块大小大于 4×8(或 8×4),则相应的块将被划分为 4 个子分区。 值得注意的是,M × 128(M ≤ 64)和 128 × N(N ≤ 64)ISP 块可能会对 64 × 64 VDPU 产生潜在问题。 例如,single-tree 情况下的M×128 CU具有M×128亮度TB和两个相应的M/2×64色度TB。 如果CU使用ISP,则亮度TB将被分为4个M×32TB(只能水平分割),每个TB小于64×64块。 然而,在当前的ISP设计中,色度块没有被划分。 因此,两个色度分量的大小都将大于 32 × 32 块。 类似地,使用 ISP 的 128 × N CU 也可以有类似的情况。 因此,这两种情况对于 64 × 64 解码器管道来说是一个问题。 因此,可以使用 ISP 的 CU 大小限制为最大 64 × 64。图 19 显示了两种可能性的示例。 所有子分区都满足至少有16个样本的条件。

Processing

如果是水平分割,则从上到下逐一处理子分区;如果是垂直分割,则从左到右处理。每个子分区的编码方式与任何其他帧内预测块相同:首先,使用子分区的相邻样本生成预测,并获得相应的残差信号。 后者被变换和量化,变换系数被熵编码并发送到解码器。 最后,得到的重建样本可以用来生成下一个子分区的预测。 此过程一直持续到所有子分区都已编码为止。

然而,对于宽度小于4的子分区,在上述过程中有一个例外。这是因为典型的硬件架构使用光栅扫描模式分配样本,然后以4×1组的方式访问它们。对于这样的设计,1×H和2×H的子分区可能构成一个问题。因此,ISP的最小预测宽度为4个样本,如下所示:不是在TB级别执行每个预测,而是将TB分组在4×H区域中,这些区域仅使用相邻样本作为参考进行一次预测。这保证了可以同时处理每个4×H区域内的TB。例如,一次预测一个垂直分割的4×16 CU,然后并行处理相应的四个1×16 TB。

Prediction

在使用ISP的CU内,所有子部分都应用相同的帧内预测模式,因此只需要对其进行一次编码。ISP帧内预测模式可以从任何传统的帧内预测方式中选择,即Planar、DC和角度方式,其中对于后一种方式,根据CU宽高比执行角度方式向广角方式的转换。PDPC以与非ISP情况相同的方式应用于所有ISP子分区,前提是它们的宽度和高度至少为4。此外,参考样本滤波过程和帧内插值滤波器选择的条件不再存在,并且在ISP模式下,DCT-IF 滤波器总是用于分数位置插值。如果一个块的MRL索引不是0,则ISP编码模式将被推断为0,因此ISP模式信息将不会发送到解码器。

Transforms

为了降低信令成本,ISP总是使用隐式多变换选择(MTS)。因此,编码器不会对每个结果子分区的不同可用变换执行RD测试。ISP模式的变换选择将改为固定的,并根据所使用的帧内模式、处理顺序和块大小进行选择。因此,不需要任何信号。例如,设th和tv是分别为w×h子分区,其中w是宽度h是高度。然后根据以下规则选择变换:

  • 如果w=1或h=1,则分别不存在水平变换或垂直变换。
  • 如果w≥4且h≤16,则th=DST-VII,否则,th=DCT-II
  • 如果h≥4且h≤16,则tw=DST-VII,否则,tw=DCT-II

其次,低频不可分离变换(LFNST)是针对整个ISP块全局用信号发送的,因此,相同的LFNST矩阵用于具有非零编码块标志(CBF)的所有子分区。只有当所有子分区都满足zero-out条件时,LFNST才能用于ISP-CU。非ISP情况下的LFNST转换内核也用于ISP。因此,如果子分区的宽度或高度小于4,则不能将LFNST用于ISP。

Coefficient coding and signalization

子分区的残差信号的系数以与 VVC 中的常规块相同的方式进行熵编码,并进行以下修改:

  • 每个子分区的编码块标志(CBF)的上下文是先前编码的子分区的CBF的值(在第一个子分区的情况下,默认值为0)。
  • 使用ISP的块的至少一个CBF被假定为非零。 因此,如果一个块包含 n 个子分区,并且前 n-1 个子分区的 CBF 为零,则第 n 个 CBF 被推断为1,因此不会显式地用信号通知它。
  • 如果子分区是一行,则最后位置语法元素仅需要发送一个坐标。
  • 令 w 和 h 分别为每个子分区的宽度和高度。 然后,如果 w ≥ 8 且 h ≤ 2,系数子块将具有 16/h × h 的形状。 类似地,如果 w ≤ 2 并且 h ≥ 8,系数子块将具有 w × 16/w 形状。 在所有其他情况下,它们将具有与常规帧内预测块中使用的相同的 4 × 4 形状。 结果,所有系数子块将具有 16 个样本。

关于信令,为每个块添加了两个新的语法元素:第一个是指示当前块是否使用 ISP 的标志(仅适用于不使用 MRL 的非 4×4 亮度块)。 当使用 ISP 时,会发送第二个标志,指定使用哪种类型的分割(水平或垂直)。 此外,这两个新标志使用一个上下文自适应二进制算术编码(CABAC)。 请注意,如果只能进行一次分割(例如,128 × 64 块只能垂直分割),则在解码器侧推断出该标志,因此不会传输该标志。

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注