天蚕重庆网络公司编者语：用小偷的例子来比喻百度的蜘蛛。百度为什么能够收录我们的网站呢?他肯定是有爬取程序的。他肯定是会下载我们的内容的。怎么爬取我们的程序呢?很简单是因为有链接诱饵。小偷为什么会去偷可能是因为他不关窗户，可能是因为太不低调了。他有可能是因为随手带门，他有可能是因为他的社交圈子的影响。等等等等各种连接诱饵就是让小偷更有可能接近他的家，你明白了吗?

很多新的东西。不要紧，重复的听，对吧。你要给这小偷露诱饵。其实我们生活中很多很多家庭会失窃，就是因为我们太大意了，我们留给了这些小偷诱饵。平时太张扬，不是很低调，穿金戴银。脖子上戴一个很粗的狗链子，最喜欢黄金的，有的是白金的。你有时候说话过分嚣张。让人感觉到你有钱可取。第二个就是你不爱关窗户，你有时候把门是随便带上的。这些东西都是勾引了小偷。对还是不对?

虽然我举的这个例子不太妥当，但是非常的形象。其实蜘蛛它也类似于一个小偷，我们允许蜘蛛来爬取我们的网站了吗?他就来偷你东西了。我们怎么让蜘蛛偷到你的东西呢?很简单，你肯定要布链接诱饵。是不是我们又得到了一个东西叫做链接诱饵。一节课下来你会发现你得到很多新的东西。不要紧，重复的听，对吧。你要给这小偷露诱饵。其实我们生活中很多很多家庭会失窃，就是因为我们太大意了，我们留给了这些小偷诱饵。平时太张扬，不是很低调，穿金戴银。脖子上戴一个很粗的狗链子，最喜欢黄金的，有的是白金的。你有时候说话过分嚣张。让人感觉到你有钱可取。第二个就是你不爱关窗户，你有时候把门是随便带上的。这些东西都是勾引了小偷。对还是不对?

天蚕重庆网络公司总结：为什么会有爬取程序，爬取程序是干吗的?你有没有想过。我想问问大家，百度为什么能够收录我们的文章和页面?难道百度有神通，他自然就知道你的文章和页面了?不可能的。他肯定是要抓取的。说白了他是需要先爬取后下载吧。爬取这样一个程序，就跟你去别人家里一样，就跟小偷到别人家里面去偷一个东西一样。难道他有神通?他不可能有神通的。他先得爬窗户，把窗户给敲了，门给敲了，然后进去，去拿了东西再出来。