“改之前没被提到,改之后被提到了”这句话本身不构成证据。需要先约定怎么比,再开始改。

先存基线

在任何调整之前,用固定的题库、平台和轮次跑一遍,把原始回答和引用来源整份保存下来。没有基线,后面所有比较都无从谈起。

只做能记录的改动

每一项改动都写清楚:改了哪个页面、改了什么字段、什么时候提交、什么时候生效。同时改十件事,事后无法判断是哪一件起了作用。

用同一套条件复测

同样的问题、同样的平台、同样的轮次,间隔一段时间再跑。对比时要看三件事:出现率变了多少,是不是跨问题都变了,是不是跨平台都变了。只有一个平台的一道题变了,更可能是波动。

结论怎么写

在没有对照组的情况下,稳妥的写法是“观察到变化,且与某项调整时间吻合”,而不是“某项调整带来了提升”。想更接近因果,需要更长的观察和更多的重复。