一个计算机技术爱好者与学习者

0%

前言

nginx默认情况下不支持pathinfo模式,从而不能支持ThinkPHP。能访问的,只有首页,其他函数的路径,都无法访问。本文中,我们就来学习解决这个问题。

参考文档:

阅读全文 »

功能进阶

1、Java网页爬虫,最基础的功能,是能爬取某个页面的html源码。
2、图形化界面。
3、爬取某个页面的html源码,以及页面需要的静态资源(图片、css和js)。
4、爬取某个页面的html源码,以及页面中的链接指向的页面的html源码,并且不断地延伸爬取。

整个开发过程,需要用到网络编程、正则表达式、I/O流、图形界面编程、事件监听、多线程等。为了简化开发,还需要用到一些外部jar包,比如jsoup。

阅读全文 »

前言

《在Ubuntu16.04上安装Hadoop》一文中,搭建好了hadoop平台。
接下来,我们参照慕课网Kit_Ren的《Hadoop大数据平台架构与实践——基础篇》教程,跑一下单词计数程序。

要求:计算文件中出现每个单词的频数,输入结果按照字母顺序进行排序。
输入:

1
2
3
hello world bye world
hello hadoop bye hadoop
bye hadoop hello hadoop

输出:

1
2
3
4
bye     3
hello 3
hadoop 4
world 2
阅读全文 »

mysql5.6设置密码

通过修改表数据设置密码

一般mysql的root默认密码为空,如果之前没有设置过root密码,我们可以使用空密码登录后设置密码。

1、启动mysql

1
service start mysql

2、进入mysql控制台

1
mysql -u root

3、修改密码

1
2
3
use mysql;
update mysql.user set password=password('voidking') where user='root';
exit;

4、重启mysql服务

1
service mysqld restart

5、测试登录

1
mysql -u root -p
阅读全文 »

什么是大数据?

什么是大数据?正如字面意思,大量的数据。举个例子,Mysql的一张表里存了1万条数据,查询没问题;100万条数据,查询也没问题;那么,1亿条数据?100亿条数据?更大的数据?

大数据科学家JohnRauser提到一个简单的定义:大数据就是任何超过了一台计算机处理能力的庞大数据量。

为了处理大量的数据,我们必须找到更好的办法。谷歌经过研究,发表了一些关于大数据解决方案的论文,涉及MapReduce、BigTable、GFS等。但是,谷歌开发的大数据处理平台,并没有开源。一些勤奋的同学根据谷歌发表的论文,搞出了Hadoop平台,后来成为一个主流的大数据处理平台。

参考文档:

阅读全文 »