日志服务+流计算+RDS 统计网站访问日志-白红宇

本期分享专家：黄莉娟，具有多年前端开发经验，曾就职于天基，在阿里云从事大数据产品、日志服务、消息产品的技术支持，喜欢研究新技术分享新产品。我的口号“我就爱玩新产品！别叫我停下来”

b2afd431f16e95521ffa820d91a6f0618813e820

众所周知，在阿里云所有的产品里，很多产品不需要写代码也能做出炫酷的demo，操作简单，容易上手。最近流计算开始公测，所谓世间万事万物，我们都要挑点来尝尝，拿它做个什么demo捏，在思考了四分之一柱香之后，我决定写一个先有鸡还是先有蛋的故事。

是的，写个自己统计自己访问日志的网站，是不是为了做demo完全不要节操！

这个demo很适合初学者！

step 1、准备工作日志生成过程

首先把/etc/nginx/nginx.conf 配置一下，搞个跳转

location / {

proxy_pass http://127.0.0.1:3000;

}

一会3000这个端口我们用nodejs起个http server，这样访问根目录就跳转到我的nodejs网站了，为了要个nginx的日志，我不择手段，为什么要统计nginx日志呢，因为有个现成的介绍，不会的请戳这里https://help.aliyun.com/document_detail/28988.html

配置好以后，sls的控制台看，日志长这样

4aa615e27fb00c1a7c9ca6d8f8cdfe5b801027e6

step 2、在RDS建结果表

然后我们用流计算把日志服务的数据挖出来丢到rds，网站读rds搞点图图粗来，刷一下rds变一下，是不是很想给我的脑袋来上一枪！

先给rds建两张表，我们会把结果放在这两张表里，统计日志的网站读这两张表就行了。为了方便简单两张表建一样的格式好了。

CREATE TABLE `sls_event` (  `time` int(11) NOT NULL DEFAULT '0',  `event_type` char(32) NOT NULL DEFAULT '',  `event_value` char(128) NOT NULL DEFAULT '',  `value` int(11) DEFAULT NULL,  PRIMARY KEY (`time`,`event_type`,`event_value`)) ENGINE=InnoDB DEFAULT CHARSET=utf8;CREATE TABLE `sls_status` (  `time` int(11) NOT NULL DEFAULT '0',  `event_type` char(32) NOT NULL DEFAULT '',  `event_value` char(128) NOT NULL DEFAULT '',  `value` int(11) DEFAULT NULL,  PRIMARY KEY (`time`,`event_type`,`event_value`)) ENGINE=InnoDB DEFAULT CHARSET=utf8;

step 3、使用流计算计算日志数据并输出到RDS表

开通流计算，开通好以后，可以看见控制台长这样：

6901da3b7b39e12ac28beb934b56ebb981eb13d7

把里面sql抠出来放在这：

---------------------------------------我是stream sql的分割线-------------------------------------------------------

--1.首先定义下数据源的表，这里我们用type='loghub'，直接就能把loghub中的数据读出来

CREATE STREAM TABLE source_test_sls_galaxy (ip STRING, status INT, request STRING,refer STRING,user_agent STRING ) WITH ( type='loghub', endpoint='http://project_region.log.aliyuncs.com', accessId='!@#$',accessKey='@#$%', projectName='#$$%%', logstore='!@#$%' );

--2.然后定义个两个RDS的表type='mysql' 作为输出结果表

CREATE RESULT TABLE sls_event (time                INT,event_type          STRING,event_value         STRING,value               INT) WITH (type='mysql',url='jdbc:mysql://@#$%:3306/@$$%',username='@#$%',password='@#$%',tableName='sls_event');CREATE RESULT TABLE sls_status (time                INT,event_type          STRING,event_value         STRING,value               INT ) WITH (type='mysql',url='jdbc:mysql://@#$%:3306/@$$%',username='@#$%',password='@#$%',tableName='sls_event');

-- 3. 定义下计算逻辑

INSERT INTO sls_event select   prop_get('__time__') as time,   'pv' as event_type,   'get' as event_value,   COUNT(1) as valueFROM source_test_sls_galaxyGROUP BY prop_get('__time__');INSERT INTO sls_status select   prop_get('__time__') as time,   'status' as event_type,   status as event_value,   COUNT(1) as valueFROM source_test_sls_galaxyGROUP BY prop_get('__time__'),status;

---------------------------------------我还是stream sql的分割线-------------------------------------------------------

注意下！！！sql里面我用了 prop_get('__time__')，这个是loghub的系统字段时间__time__，必须通过消息属性传递进来，普通的日志服务的key写在数据源的表就可以了，系统字段不用写，配置下任务参数，直接用，可以参考下http://gitlab.alibaba-inc.com/galaxy/galaxy/wikis/prop-functions

任务参数这么写：

galaxy.input.props.keylist=timestamp,__time__

截个图。最后一行红圈圈是我加的：

2bb21d0d84662a0ddfb0a1e49a2fd2bad9f3f0f3

然后轻轻的点击下“上线”，上线成功后，再轻轻的点击下“运维”，进去把任务启动起来。

启动好之后，看起来是酱紫滴，输入RPS是有东西的。当然之所以有输入，是因为我访问了一下我的网站了~~

8a059e7fcd8ad886b8555e2d84b977c6e8488016

step 4、在网站上的展示效果，刷一刷就会看到变化

来刷刷我们的网站，就是我用nodejs启动的在3000端口，nginx配置了跳转的那一个咯。

-- 先看看网站的PV统计，是流计算的这句sql搞出来的

INSERT INTO sls_event select

prop_get('__time__') as time,

'pv' as event_type,

'get' as event_value,

COUNT(1) as value

FROM source_test_sls_galaxy

GROUP BY prop_get('__time__');

abe9c92c36260c2d902b85d68c940cbd7101ec53

-- 再看看网站的状态码统计，是流计算的这句sql搞出来的

INSERT INTO sls_status select

prop_get('__time__') as time,

'status' as event_type,

status as event_value,

COUNT(1) as value

FROM source_test_sls_galaxy

GROUP BY prop_get('__time__'),status;

367d6ebb0118c3720a96a67a5b2ffd126efacbb0

当然，刷一下网站，数据就会变一下！

是不是吼神奇！

"我就爱玩新产品！别叫我停下来！"

本期分享结束啦，想让云享团分享哪些技术，

欢迎大家留言讨论，我们下期再见。