md5的hash存储在数据量不是很大的时候，存在KV存储中还是比较靠谱的，索引量很大的话，估计不太够用，就得使用带空间压缩的一些特别算法，比如上面有人提到的bloom filter

4G内存可以开很大的BloomFilter了，每个URL只需要几个比特，URL长度无关。BloomFilter有一定错误率（比如千分之一、百分之一，取决于配置），会导致漏爬一些网页，但不会重复爬。