企业网站建设

建站知识

今日已发布信息: 328694
累计注册用户: 77737316

robots是否彻底屏蔽搜索蜘蛛爬行与抓取呢

爬行抓取 这么一个 能彻底屏蔽蜘蛛的爬 目录文件

概述: 在后边加上与未加上/,对于蜘蛛而言是两种概念,加上了是告诉蜘蛛,这是一个文件夹,而未加上即告诉蜘蛛这是一个文件,也因此导致明明在robots.txt上做好了设置,却没能有效的屏蔽。当然这仅仅是叶剑辉的个人看法。   继而,好友听从建议将robots.txt修改为:   Disallow: /wp-admin/   Disallow: /wp-content/

  说到屏蔽搜索蜘蛛的抓取,自然而然的就会想到robots.txt文档。robots.txt是什么?其实在此前惠州SEO叶剑辉也已经对此进行了基础的说明。robots.txt是一种存放在网站空间根目录下的文本文件,是一种协议,用来告诉搜索蜘蛛网站中哪些可被爬行抓取,哪些不可被爬行抓取。然而,在这里,叶剑辉有着这么一个疑问,robots.txt是否能彻底屏蔽蜘蛛的爬行抓取呢?

  robots.txt能屏蔽蜘蛛的爬行抓取

  近日,好友襄阳SEO茶妹遇到了这么一个问题:“我明明用robots.txt屏蔽了wordpress中的目录文件呀,为什么蜘蛛每日仍然照常爬行呢?”而后,叶剑辉自然便查网站robots.txt文档,以下便是对wordpress目录屏蔽设置:

  Disallow: /wp-admin

  Disallow: /wp-content

  Disallow: /wp-includes

  在查看过后,发现了这么一个问题,这是目录文件屏蔽,然而,这屏蔽设置后边却似乎缺少了/,而叶剑辉进行咨询时,好友却是这么认为:“目录文件前边加上了/就可以了,后边加不加都一样的呀”。对此,叶剑辉却是另一种看法,在后边加上与未加上/,对于蜘蛛而言是两种概念,加上了是告诉蜘蛛,这是一个文件夹,而未加上即告诉蜘蛛这是一个文件,也因此导致明明在robots.txt上做好了设置,却没能有效的屏蔽。当然这仅仅是叶剑辉的个人看法。

  继而,好友听从建议将robots.txt修改为:

  Disallow: /wp-admin/

 

  无锡家教网站  小高考   今日推荐免费建站   分类信息   邳州网站建设公司

 

  Disallow: /wp-content/

  Disallow: /wp-includes/

  成功修改后便在百度站长平台进行提交重新生成操作(需要注意的是,若不主动提交生成,靠蜘蛛自行生产的话,耗时较长的喔),在当天也就生效了。隔日后再对日志进行查看,发现蜘蛛对这三个wordpress下的目录真的不再爬行抓取了。

  从这么一点上看,在我们进行网站SEO优化之时,着实不能忽略任何细节,仅仅一个/,可带来的却是不一样的效果。

  robots.txt不能彻底屏蔽蜘蛛的爬行抓取

  而在这一问题解决后,好友在这文件屏蔽上却又有了另一问题:“明明把某个目录屏蔽了呀,为什么蜘蛛还是能够抓取收录该目录下的某个文件呢?”

  那么,在这里叶剑辉就需要做一个说明,robots.txt协议并非是一个标准,一个规范,只是约定俗成而已罢了,通常搜索引擎会识别这个文件,但也有一些特殊情况。(如之前的360事件就不作为此次讨论内容)

  无论是百度亦或是谷歌,某个页面只要有其他网站链接到该页面的话,同样有可能会被索引和收录。要想彻底屏蔽页面文件被谷歌索引的话(即使有其他网站链接到该页面文件),则需要在页面head中插入noindex元标记或x-robots-tag。如下:

         <meta name="googlebot" content="noindex">

         当谷歌蜘蛛看到页面上着noindex的元标记,就会将此页从谷歌搜索结果中完全丢弃,无视是否还有其他页链接到此页。

         而百度呢?对于百度而言,并不支持如谷歌那般通过noindex完全将网页从索引上删除,仅支持noarchive元标记来禁止百度显示网页快照。具体语句如下:

         <meta name="Baiduspider" content="noarchive">

  上面这个标记只是禁止百度显示该页面快照,但百度仍会为其建索引,并在搜索结果中显示网页摘要。

  众所周知,淘宝网通过robots.txt全站屏蔽百度蜘蛛,可为什么我们在百度搜索淘宝网时第一个结果也是淘宝网首页地址呢?而在我们查看该页面快照时却是显示空白?因此看来,网站只能禁止百度快照的显示,却无法做到禁止百度为网页建索引。

  

 

  结束语:

  回到叶剑辉在文章首段所说到的疑问,robots.txt是否能彻底屏蔽蜘蛛的爬行抓取呢?相信在看到这么一个问题,会有这么一部分朋友的回答是肯定的。而这只能说,我们都缺少了善于去发现的心,而对于没能有效屏蔽蜘蛛抓取,只能说明咱们的优化工作做得不够精细。

  由这么两个robots.txt的小问题上,叶剑辉认为,阻止我们进阶为SEO高手的或许便是那善于发现问题的心和精细化的执行力。

  原文出自惠州SEO博客 http://www.kvov.com 叶剑辉原创供稿。

 

 

Baidu百科怎么做 Baidu百科推广效果剖析

  百度百科是百度公司推出的一部内容开放但审核严格、具有权威参考价值的网络百科全书。于2008年4月21日发布,时至今日已成为各大商家、品牌、学校、名人等的重要推广渠道之一。相对其他推广渠道而言,百度百科的推广难度大很多,但这也证明了百度百科的营销价值。同时百度百科实现了与搜索引擎的完美结合,从不同的层次上满足用户对信息的需求。

  百度百科推广效果

  记者走访了国内专业做百度百科营销的机构——优渡网后得知,百科推广之所以有较好的营销效果,主要是凭借以下几点:

  搜索结果排名靠前:百度百科被百度赋予了极高的权重,且其站内优化确实是一般搜索引擎优化市无法企及的。大家可以试一试,无论搜品牌词、人名、校名,甚至一些关键词、事件,百度百科的排名往往都是排在前3名。

  权威参考价值:百度百科已然成为网民心中的一部“圣典”,有任何疑问都会去查上一查。如果自己公司名称有了百科,客户对公司的信任度将大大提高。而且创建百度百科、修改百度百科均需通过百科团队严格的审核,确保了其质量。

  推广长久性:百科词条创建后永久有效,不会过期,排名也一直很稳定。优渡网也承诺百科做好后,不会产生任何后续费用,但频繁修改百科内容除外。

  订单转化率高:百科进来的流量都是针对性非常强的,而且网民信任百科,百科内容中又推荐了您的品牌,客户就有了一个“坚硬”的理由去为您的产品买单。优渡网统计结果显示,百度百科转化率较PPC及PM广告高出一大截,而且广告效果可以清晰的显示。

  IP流量大:每天查阅百度百科的网民有多少呢?优渡网给出了答案,百度指数在200左右的关键词,其百科引来的流量不亚于一个中型企业站所有页面全天流量的总和。

  百度百科推广流程:http://www.365128.com

  百度百科怎么做?

  既然了解了百度百科的优势及用途,下一步就是学习怎么做百度百科了。但由于百科词条内容有严格的编写规范,低等级百科账号限制较多,需要提供各种权威参考资料和资质等原因,导致大量企业无法成功创建自己的百科,就连有多年网络推广经验的老鸟也束手无策。百度百科这块蛋糕要怎么吃呢?

  著名经济管理学家彼得.德鲁克有言:做自己最擅长的事情,其余全部外包出去。百科词条对于商家确实是比较麻烦的一件事,此时何不交给现成的营销机构去做呢?

  国内百度百科推广机构“优渡网”在接到来自商家、个人等众多百科推广的请求后,研究出了一套百度百科解决方案,可供大家参考。

  优渡网百度百科推广范围

  创建百科词条:如品牌名、网站名、产品词、人名、公司名等

  修改百科词条:在原有词条中加入您的内容,如广告内容、百科名片

  百科内容撰写:根据客户及编写规范撰写词条内容

  百科词条排名优化:将客户百科排名优化到百度第一

  维护等其他:根据客户具体要求定制

  优渡网百度百科推广对象

  人物类:歌手、画家、作家、网络红人、CEO等

  公司类:企业、团队、学校、医院等

  其他:网站名、品牌词、产品词、关键词、事件

  注:创建百科前最好整理出词条名及大概内容,以便优渡网客服人员及时为您处理。

  优渡网联系方式

从Baidu更新看SEO变革

  从6.28百度来了大更新之后,到现在都不断的有很多站长抱怨网站被K。在这段时间SEO站长们可谓是担惊受怕,怕一不小心就万劫不复了,以至现在很多站长都迷茫了,通过下面的图面我们可以知道,从6-28号开始,百度K站就没有停过脚步。这样做是为何呢?

  

 

  百度寻求改革

  现在网上很多谣言,什么百度股市下跌导致百度K站获取利益等等,很多站长都在抱怨说百度错K好站,但我并不这么认为,百度之前也在《百度将剔除低质量的新闻》中做了说明,主要目的是对低质量站点进行处理,从字里行间我们不难发觉百度是在寻求变革,百度的数据库是有限的,所以不能无限的放置内容,所以剔除低质量内容是必然趋势。

  我的网站也不幸成为了百度变革下的牺牲品。虽然没有被K,但是网站收录异常,快照更新了一次就一直停留在7-3号,作为一名医疗SEO,我优化的几个网站,与大多数医疗站是没有多大区别的,通过数十个被K网站的分析,得出一个定律,医疗站、小说站被K的居多,验证了百度公告。

  站长该怎么做

  作为2012的站长,我们应该怎么面对百度这段时间的大更新,百度是基于用户体验的搜索引擎,所以百度的根本性目的是满足用户体验,而现在满足用户体验的网站都是做的风生水起。从中我们可以得出结论,百度更新的目的是诊断用户体验的一次改革,进几年SEO行业是越来越热,很多仅了解发外链的人都自称为SEOer,导致SEO行业的混乱,百度的这次更新无疑是给SEO行业设置了一个门槛,不是任何人都可以SEO的,要做好SEO,就需要多分析专研。

  那个面对百度更新,我们站长应该站在哪边呢?我认为是应该跟随搜索引擎走,也许会遭很多被K站长的谩骂,但是哪位站长能保证他们自己做的网站是绝对的白帽,绝对的原创,绝对的满足用户体验了?

  最近我一直在提倡SEO的核心就是用户体验,我也一直在往这个方向发展。因为只有满足用户体验的网站才能够长期的发展下去,通过这次大地震,我们作为SEO更应该的是深刻的自省。现在的SEO发展畸形,不是软件群发就是挂黑链等作弊行为,往往忽视了最重要用户优化根本。

草根经营新站的一些技术与大家分享

  先说点废话:人们在失败和不足面前,总会产生一种自卑感。在这种情绪的支配下,总是过分的贬低自己、抬高别人。人生在世不可能十全十美,偶尔出现一次失败,或是存在一些不是很正常的事。重要的是,我们应当以一颗平常心去对待它。俗话说,心态决定命运,的确如此。

  有些时候,人很容易陷入自己设置的圈套,沉迷与一件事中无法自拔,因此,不要过分相信自己的判断力,把全部的心思用在自以为很有价值的事物上。就像有些朋友 对自己在搜索中的关键词排名过于敏感,今天升了很高兴,如果明天降了呢?有的朋友就会失去信心,开始抱怨,百度抽风了、百度发狂了、,其实这都不是理由,为什么不找找自己的原因,为什么不冷静下来想想自己哪方面好做得不足。

  8月份做的新站做这个站正好遇到百度大更新,再加上当天做了较多的外链所以晚上百度和谷歌就已经收录了,于是新站所以百度和谷歌给的排名都不错,所以我就掉以轻心了,但过了几天排名就下去了,所有内容页的排名也烟飞云散了,接下来就是首页也被降权了前几页根本找不到它了。

  首先想的的就是:该做外链了,该发布点原创内容了。找原创内容?很多朋友都会头大,我也如此,还好由于我这类网站的特殊性所以内容源也比较广。

  首先我就去DMOZ找与自己内容相关国外的网站(1.找内容同时可以在其论坛留一点外链。2.能进DMOZ的网站内容质量不可否认)比如我找了很多UFO相关的网站,他们的内容翻译成中文就是原创了,我也去很多高权重的论坛注册了帐号留了外链还有就是每天穿越 港、台同类网站收集内容,这种内容也非常不错还有就是一些电子书,我找了些有关鬼故事的电子书,这种资源也比较可以,在搜索中重复的也非常少。

  接下来就是做外链了,首先就是高权重博客发文章,很多朋友都是准备一篇文章然后发到每个博客(那我只能说你不如用博客群发了),我发每个博客的文章都不一样,且很多属于半原创文章(港台一些原创文学网站有很多资源的,拿过来转换成简体就OK)所以这样的外链应该是有质量的除了各大名站的博客外我们还应该怎么找高质量的博客或一些可以留外链的网站:我们可以去百度搜索当天的日期:比如今天是2009年09月25日,就直接搜20090925,我用这方法找了很多高质量外链基地(有博客、SNS、论坛)在这些地方发的文章 很多都是几分种就收录了(这一点也不夸张)人家的站就是这么牛,经过一段时间的努力,首页权重恢复了,相关关键词也排了上去。

  在这里想告诉大家的是,遇到问题不要悲伤,反而要高兴,因为这些问题可以让我们更努力的去做事,更用心的去做事,这么用心和努力的做事回报给我们的当然是一个高权重的网站+好的排名=好的流量=大把钞票。

  其实我们也不用太在意某一个关键词的排名,因为不只你一个人在努力优化这个词,我们要想办法把网站的整体权重提升,这样你以后就可以利用自己网站的权重去做一些热门文章,有的热门文章一天搜索量也有好几万,呵呵所以就看你有没有这双慧眼了,论坛很多朋友也讲了 多看看百度的搜索排行榜我想就是这意思吧,看到最近网络流行的趋势,去制造一些用户有可能搜索的长尾词。

  对了这里说说友情链接,很多新站,连首页内容都没全就去找人家链接了,其实这是对人家的不礼貌,人家也不会链你这个连“四肢”都不全的网站,所以我们做新站要塌实,尽量做好内容,等你网站各方面发展都比较不错的时候 即使你PR0 人家PR3或PR4的站也愿意连你。

  还有就是大家比较关注的DMOZ分类目录,如果我说我当天申请当天就被收录了大家信吗?没错这是事实,的确是当天申请提交当天就被DMOZ收录了.我提交的一个频道,因为首页没有这个频道适合放那目录。http://www.dmoz.org/World/Chinese_Simplified/%e7%a4%be%e4%bc%9a/%e8%b6%85%e8%87%aa%e7%84%b6%e7%8e%b0%e8%b1%a1/%e4%b8%8d%e6%98%8e%e9%a3%9e%e8%a1%8c%e7%89%a9/

  关于我怎么让DMOZ当天收录我网站的经验下次与大家分享吧。

一个新手草根的优化生活

  回忆了下自己做seo的经历。也可以说是完全的跨了一个行业。大学里学的是数控专业,就是以程序来实现机械的自动化,这个和写程序是完全不同的。我相信每个seo都有自己不同的经历。

  菜鸟草根seo前奏

  最初接触到seo是在一家工厂里负责网络上的推广和业务,那时完全不知道什么是seo,感觉好神秘的样子。然后买了《网络营销实战密码》《seo实战密码》,最初也基本上看不懂,因为没见有实战,所以还是不懂。

  菜鸟草根seo进行时

  正式的学seo应该算是参加实战营的培训。那时的也没有电脑,就在网吧里去听的YY课。而且也刚好赶上了最后几节,所以前面的也不是很懂。于是就自己去看资料,去网上看相关的一些介绍,确实不懂的就问辅导老师,估计那时把辅导老师累的够呛。可怜的金华大哥。哈哈。现在想起当时问的问题也觉得很无厘头。然后就自己慢慢的摸索,慢慢的去实践,也慢慢的成长了。当时是负责一个送礼网的推广和seo,在不懂seo的情况下找到的一份工作(偷笑)。就用学到的一些方法做关键词排名,主要还是发外链,因为网站的内容不让动,还有就是建议增加了个文字的版本,用来调整关键词的密度和做文章。当时用了20天左右的时间把一个主关键词做到了第三,前面都是pr,权重很高网站,首页就我一个新站。从那时候我才开始真正的有点小懂seo吧,做出来一些成绩后就不再怕了。信心的小小的暴涨,但是公司的流量确实没有增加多少,只是证明了自己确实是可以把关键词做上去的,然后又做上了一批不太难的词。过完年后向公司提出加薪,因为感觉能力和薪水不相称,公司没有同意就辞了。因为我相信会有更好的工作,当时也没有想去创业什么的,感觉自己的能力也不成熟吧。

  辞职后也面试也好几家公司,有工厂的,也有公司的,最后选择了在一家网络公司做seo工程师。选择的原因有三个:一个是对我当前来说待遇还可以。二是离住的比较近,不想搬家。三是可以有不同的网站拿来实战。然后就开始了seo工程师的工作。大概用了一个月的样子,做了三个站(能力很弱吧)。20个左右关键词,一般都是普通的词,难点的是指数1000的词。当时自己是没有做博客的。在公司里一边上班一边积累经验。也自学div+css,html,wp开源程序的搭建,dedecms开源程序。现在也在学ps,因为有时需要用图片来做示例。什么都要学,奈何是半路出家。在做seo的这段时间里也认识了一些朋友,通过交流和学习也慢慢转变了自己对seo的认识和看法。之前做seo也没想那么多,就是感觉比较有意思,然后就开始做了。慢慢的经过思考,我觉得可以通过这个技能来做很多事情,包括创业,赚钱。

  现在工作还在继续,已经提交辞职了,公司也在招人来接手网站的事情。因为在网络公司里做薪水是固定的,也没有给提成,做多做少都是差不多,所以就不想混日子了。离辞后就自己做吧,刚开始做不求赚多少,起码挣个生活费就行了。

  菜鸟草根seo的展望

  对于seo,还是会进行下去。对于未来,我是要自己去创业。我知道我不能为了seo而去seo,这句是抄袭,是谁的就忘了。毕竟我们可以做的事有很多,上班只是一个起点。用seo去实现更大的作用才是正点.

http://www.kvov.com.cn/jzxx35890.html

今日推荐知识库
经典语录
有些人习惯把坏情绪和悲伤表现出来,潜意识是为了得到安慰和同情,但其实大部分人只是当作看笑话罢了。只有内心阳光才能温暖别人,也只有你好了,才能得到别人的在乎。收起矫情吧。
语录
就连看着同样的东西,有着同样感受的人,都会错身而过,大家都了解,那种悲哀。为了总有一天要看穿,每天都要凝神去注视。-夏目
语录
蒂兰圣雪,只为特别的你。
趣味谜语
谜题:诸位分开让我进去(打一职称)     谜底:记者   谜底提示:“诸位”分开后,插进我(己),变成“记者”。
语录
步子迈开,让我们飞驰在红色跑道上,用我们的泪水和热血,更改历史的记录,起立吧,歌唱吧!为我们的勇士加油。