AI无相神功 #38 极度复杂的数据系统

我最近上班期间不能再过度编程，需要注意休息。于是多多进行一下思考和输出。
这种文章的撰写不是很占用内存。
我们来讨论一个事项，一个极度复杂的数据系统，如何维护？

首先最简单的方法，肯定是人多。只要人多起来，每个人维护各自的一个模块。那么即便复杂度高，各个数据容易产生漂移，也不是问题了。
正所谓一力破百法。
但是如果人不够呢？如果人数有限，如何让每个人产生最大的价值。或者说，如何让机制来劳作呢？
对于复杂的数据系统，任何一个改动，都是牵一发而动全身的。

你想靠AI编程去推进内容，甚至靠AI提供思路，看似可行，其实很难。
首先是版本拆分，稳定的版本进行标记。区分清楚数据的真实跑的环境和研究环境。
然后是Baseline，以某个版本的数据为基线。所有各种Case输出的结果，都是基线。
基线所默认的是，代码一定在某一个时刻，功能正确。
基线要保持不变，或者在基线上进行优化。
系统越复杂，你的这套基线就需要构建越周全。越自动化。

另外你还需要一些自动从数据中发现规律，自动进行实验的能力。另外是一部分信息你可以开源出去，让社区来为你服务，抓Bug。
以及你要维护一套分支，不要维护太多的不同的数据处理分支。如果分支很多，肯定会错乱。
另外数据入库，数据分析，分析报告分列，数据实际使用。等等这些，都很重要。

即便如此，藏在数据中的Bug，藏在算法中的Bug也抓不完，但是至少这个极度复杂的数据系统可以被管控。

原帖图片 1