自1994年万维网出现后，互联网上的网页数量就呈指数级生长，到目前为止，短短二十余年，互联网上就有成百上千亿网页。如何在这海量的网页中搜索下载具有对特定场景有价值的网页？使用什么样的策略能保证网页不会出现重复？如何保证爬虫程序的高并发爬取？如何在网页中提取关键点等等问题，这是本篇博客重点描述的内容。经过以上分析，我们可以得出，爬虫应尽可能从蝴蝶型的左部出发，或从中部的网页开始遍历。网络爬虫是网页搜   查看全文>

简介varnish是一款高性能且开源的反向代理服务器和http加速器，其采用全新的软件体系机构，和现在的硬件体系紧密配合，与传统的squid相比，varnish具有性能更高、速度更快、管理更加方便等诸多优点；目前最新版本是4.0.0，而3.x的版本也是可以生产环境下使用的稳定版本，但yum源中的2.x版本过于陈旧，不建议使用；varnish与squid的对比相同点都是一个反向代理服务器；都是开源软   查看全文>

与session相对的是，sessionfactory也提供了相应的缓存机制。sessionfactory缓存可以依据功能和目的的不同而划分为内置缓存和外置缓存。sessionfactory的内置缓存中存放了映射元数据和预定义sql语句，映射元数据是映射文件中数据的副本，而预定义sql语句是在hibernate初始化阶段根据映射元数据推导出来的。sessionfactory的内置缓存是只读的，应用   查看全文>

#!/usr/bin/envpython#encoding:utf-8fromflaskimportflaskapp=flask(__name__)@app.route('/')defindex():return'helloworld'if__name__=='__main__':app.run(debug=true)#app.run(host='127.0.0.1',port=8000)之后，访   查看全文>

beagleboneblack默认是angstrom系统，专门为嵌入式搞的linux系统，bbb官方支持这个系统。虽然官方不支持ubuntu，但是还是有部分人在用，比如小弟我··(^o^)/~简单讲下如何烧ubuntu系统microsd卡一个（最好大点，4g+，但是我手里只有一个破手机上退下来的2g的将就用吧），microsd读卡器，可选：键盘，鼠标，显示器我笔记本是win7，虽然虚拟机有ubun   查看全文>

作为程序猿，即使再忙也要每天抽点时间来看看书，否则，你永远都是搬砖的。不要乱买书，不要乱追新技术新名词，基础的东西经过很长时间积累而且还会在未来至少10年通用。回顾一下历史，看看历史上时间线上技术的发展，你才能明白明天会是什么样。一定要动手，例子不管多么简单，建议至少自己手敲一遍看看是否理解了里头的细枝末节。一定要学会思考，思考为什么要这样，而不是那样。还要举一反三地思考。注：你也许会很奇怪为什么   查看全文>

/template/default/common公共模板目录全局加载block_forumtree.htmdiy论坛树形列表模块   查看全文>

http报文是面向文本的，报文中的每一个字段都是一些ascii码串，各个字段的长度是不确定的。http有两类报文：请求报文和响应报文。http请求报文一个http请求报文由请求行（requestline）、请求头部（header）、空行和请求数据4个部分组成，下图给出了请求报文的一般格式。or＜request-line＞＜headers＞＜blankline＞[＜request-body＞1.请求   查看全文>

1.form的onsubmitelemform.submit();不会触发表单的onsubmit事件2.根据name属性获取html页面对象，这个也适用于id，注意大小写，javascript对大小写敏感alert(document.all.aaa.value);javascript中的css改变document.getelementbyid("p2").style.color="blue";3.   查看全文>

前段时间有人问我一个简单的问题，html如何创建解析的？我讲了一大堆，什么通过documentloader，cachedresourceloader，cacheresource，resourceloaderscheduler，resourcehandle这些类一步一步的完成cache查找然后请求下载等等。滔滔不绝，直到我调试xml解析时，我才发现好多问题都与理解的不一致，在分析源码的时候只了解了大   查看全文>

一、概述本文档主要介绍了tomcat的性能调优的原理和方法。可作为公司技术人员为客户tomcat系统调优的技术指南，也可以提供给客户的技术人员作为他们性能调优的指导手册。二、调优分类由于tomcat的运行依赖于jvm，从虚拟机的角度我们把tomcat的调整分为外部环境调优和自身调优两类来描述。1.外部环境调优调整tomcat运行环境的操作系统参数和运行tomcat的java虚拟机参数。(a)jav   查看全文>

apache+tomcat配置负载均衡此文档内容已经经过测试javasdk版本:1.6.20apache版本:2.2.15http://httpd.apache.org/tomcat版本:apache-tomcat-6.0.35http://tomcat.apache.org/download-60.cgi====================================安装javasdk就   查看全文>

日志样本：囧，日志格式是我随便定得（莫喷，在明珠时有专门的数据组统计日志，日志都非常规范，在这完全乱套了），为了方便统计支付成功的总金额旁边都空了个空格，这样的话方便使用awk取出金额！第一步：统计出支付成功的日志*”[]“属于正则关键字故需要转义?当然，为了性能我们可以查出支付成功的订单时就将它写入一个文件,后面的查询再依据这个来查询！?第二部：取出金额，并计算金额?当然需要查询支付成功的订单的   查看全文>

基于springmvc进行echarts动态实时数据展示，echarts的官网示例是前端的js动态随机数据，没有与后端程序进行交互，由于本人之前对springmvc和ajax不太了解，所以，走了很多弯路，通过这部分的学习，让自己对mvc架构和简单的ajax有了初步的了解，下面就记录一下自己搭建的这部分程序。首先需要配置web.xml，设置好servlet和filter，这部分可以参考众多sprin   查看全文>

有关于mac系统下nginx+php+mysql环境的搭建，大概需要说明的如下：1.安装方式有两种，一种是下载源码包编译安装，一种是采用homebrew下载安装（此处我采用的是homebrew方式）。2.homebrew安装php之前需要安装xcode命令行插件（commandlinetools），否则安装php会报错。安装commandlinetoolsxcode-select--install   查看全文>

对包进行扫描，实现注释驱动bean定义，同时将bean自动注入容器中使用。即解决了@controller标识的类的bean的注入和使用。会自动注册defaultannotationhandlermapping与annotationmethodhandleradapter两个bean。如果没有，那么所有的controller可能就没有解析，没有相应的controller就会被defaultservl   查看全文>

java实现网络请求代理之http篇(一)java实现网络请求代理之socket篇(二)java代理服务器之截取，篡改http请求（应用篇）用java实现socket代理服务，原理上和http代理有些相似，只是两种协议的格式不一样。socket是对tcp/ip协议的抽象封装，所以socket的格式和tcp/ip的协议是不一样的。具体详细的socket和tcp/ip的关系大家可以参考http://w   查看全文>

http报文是面向文本的，报文中的每一个字段都是一些ascii码串，各个字段的长度是不确定的。http有两类报文：请求报文和响应报文。1、请求报文一个http请求报文由请求行（requestline）、请求头部（header）、空行和请求数据4个部分组成，下图给出了请求报文的一般格式。请求行由请求方法字段、url字段和http协议版本字段3个字段组成，它们用空格分隔。例如，get/index.ht   查看全文>

系统需求:centos/rhel/fedora/debian/ubuntu/raspbianlinux系统需要3gb以上硬盘剩余空间128m以上内存,xen的需要有swap,openvz的另外至少要有128mb以上的vswap或突发内存(小内存请勿使用64位系统),mysql5.6及mariadb10必须1g以上内存。vps或服务器必须已经联网，同时vps/服务器dns要正常！linux下区分大小   查看全文>

针对新手写一点渗透的小思路、小技巧，主要讲的是思路，所有不会太详细。经常逛一些好的博客或者门户站，坚持下来，每天学一点思路，你会积累到很多东西，记住：技术需要时间沉淀。（一）针对网站程序，不考虑服务器。一、查找注入，注意数据库用户权限和站库是否同服。二、查找xss，最近盲打很流行，不管怎样我们的目的是进入后台。三、查找上传，一些能上传的页面，比如申请友链、会员头像、和一些敏感页面等等，注意查看验证   查看全文>