前两天使用Apscheduler和Scrapy做的定时抓取遇到了一个问题,蜘蛛抓取第一次之后就不再抓取了,但是Apscheduler是没有问题的,一直无法解决,后来经过一个人的指点,有Scrapyd这东西,服务端的Scrapy,提供http接口,可以实现项目以及蜘蛛的管理,在这简单记录一下Scrapyd的使用过程。 首先安装Scrapy,然后是安装Scrapyd,可以通过pip或者源码安装,安装之后还需要安装一个东西,就是scrapyd-client,github地址

阅读全文 »

laravel的migrate是个不错的工具,可以实现数据库模型的版本控制,今天遇到一个问题,就是数据库的某些字段需要修改,使用migrate进行重命名。 以users表的username字段为例,重命名为name 首先生成migrate文件: php artisan make:migration rename_name_column_to_users --table=users 然后,打开生成的文件,分别在up和down方法

阅读全文 »

在使用Laravel的FormFacade生成密码框的时候出现了错误,HTML代码中没有class属性,当时错误代码是这样写的: {!! Form::password('password', null, ['class' => 'form-control']) !!} 后来网上查了一下,是因为password这个函数和text函数不同,text函数第二个参数

阅读全文 »

一般是外键关联主键,但是会遇到非主键关联的情况,Yii非主键关联现在我知道的有两种写法: 第一种: public function relations() { return array( 'user_lesson_hour' => array(self::HAS_MANY,'BUserLessonHour','','on'=>'t.lesson

阅读全文 »

在公司用24寸的显示器写代码习惯了,回去之后用笔记本14寸的屏幕很不习惯,于是最近入手了一款显示器,准备外接到笔记本上,本以为是个很容易的事情,但是却饶了不少弯子,包括修改显卡驱动,使用powerstrip强制修改分辨率,均失败,网上有不少人说HDMI无法支持这个分辨率,差点就信了。最后在国外一个论坛上找到了方法,其实这个方法是最简单的,本文以HD4000为例,其他的应该也是类似的=。= 各种参数</sp

阅读全文 »

以前在Linux下安装Virtualenv的时候没有遇到过这个情况,今天使用pip安装Virtualenv之后,安装的时候没有什么问题,但是virtualenv vend新建虚拟环境的时候出现了问题,报错如下: setuptools pip failed with error code 1 网上搜索之后得到的答案是:这个是Virtualenv 1.11版本本身的

阅读全文 »

这个是今天偶然发现的,一直以为百度网盘是靠哈希值识别违规文件的,今天才发现是靠文件名识别的(=。=),不知道是故意的还是技术上的问题,这样一来就容易解决了。 首先实验一下离线下载某些资源,可以看到此时是不可以下载的: <img class="aligncenter size-medium wp-image-443"

阅读全文 »

个人电脑使用的是Ubuntu系统,如果没有科学下载的方法,那么下载东西的时候是一件非常痛苦的事情,迅雷不能用,各种Bt软件的速度也是不敢恭维,本文推荐使用Aria2下载,Aria2是一个命令行下载工具,支持HTTP/HTTPS、FTP、BitTorrent、Metalink等协议,虽然是个命令行工具,但是按照本文的方法使用不会让你输入一个参数,只需打开terminal直接粘贴回车即可。Win下自然还是使用神器IDM。 使用到的工具:<span style="color

阅读全文 »