A New Comprehensive Benchmark for Semi-supervised Video Anomaly Detection and Anticipation

本文创新点

1. 提出NWPU Campus这个新数据集，是目前最大最复杂的半监督视频异常行为检测的数据集，弥补了以往数据集对场景依赖的异常行为的缺失
2. 提出了预测异常行为这个新任务，同时本文数据集也是第一个支持异常行为预测的
3. 提出了一种可以检测并预测异常行为的新方法。

ps: 场景依赖的异常行为：即只有在特定场景下的某些行为才会被认定为异常。比如：在人行道上踢球，但在操场上踢球不是异常行为

数据集简介

所提方法

问题定义

在时间步t。对于VAD任务，算法应基于t时刻以及之前的视频帧输出当前时刻的异常分数$s(t)$。对于VAA，算法的任务是输出在未来$\alpha$时间内是否发生异常。

前向-反向 场景依赖自动编码器

异常分数

在推理阶段，通过计算前向网络输出的t时刻预测帧与真实帧之间误差值作为VAD任务的异常分数，对于VAA，通过取t+1至t+$\alpha$时间内的$s(t+i)$最大值作为VAA任务的预测异常分数

性能表现

Table 3. Comparison of different methods on the ShanghaiTech, CUHK Avenue, IITB Corridor and NWPU Campus datasets in AUC (%) metric. The best result on each dataset is shown in bold

Table 4. AUCs (%) of different methods on scene-dependent anomalous datasets. The ShanghaiTech-sd dataset used in this table is reorganized by us. The best results are shown in bold.

Table 5. AUCs (%) for video anomaly anticipation with different anticipation times (i.e. αt seconds) on the NWPU Campus dataset. ”f” and ”b” denote forward and backward predictions.