计算机网络系统是一个非常复杂的系统。如何设计一个复杂的分布式爬虫系统URLManager是爬虫系统的核心，论软件架构设计要点如何更好的进行软件架构设计这是软件工程领域一个永恒的重点话题，在过去的几十年里，国际软件工程界在软件体系结构设计方面取得了巨大的进步，大量的书籍、文章和文献记录了这一领域的成熟经验和成就。软件架构，它往往是一项非常复杂的工作，涉及许多细节和各种可以讨论的话题，限于篇幅，以下软件架构的个别点设计只能根据作者的个人理解进行选择，我将结合当前流行的敏捷软件工程思想与大家分享我在软件架构设计