首页 > 使用ATS中的regex_remap插件实现正则匹配的url重定向

使用ATS中的regex_remap插件实现正则匹配的url重定向

要点总结如下:

1.正向和反向代理可以同时并存,并且remap可以兼容这两种模式。

2.在使用regex_map时,是借助remap的配置来设置,而且remap.so和regex_remap.so已经事先安装进系统了,启用remap或是regex_remap功能只需要搞好配置就可以了。

3.使用浏览器时,反向代理在地址栏中输入ATS的ip地址,正向代理时需要事先设置浏览器使用代理上网,但是地址栏的地址不变



一、反向代理模式

remap是ATS做URL rewrite的方式,也是ATS在配置文件设计方面的特殊部分。从功能上来讲,ATS的remap更像一个精简版本的Apache Httpd的rewrite模块。remap之所以重要,是因为它定义了一个很方便的API入口,我们可以通过remap系统,编写remap插件。

remap.config定义映射规则,用于请求的重写(rewrite),反向代理即在此配置。

在remap.config中做如下配置

map http://d1.sina.com.cn http://192.168.90.26 @plugin=regex_remap.so @pparam=maps.reg @pparam=profile @pparam=method



@profile是将打印信息输入/usr/local/var/log/trafficserver/traffic.out

@method是匹配http方法



动态库的默认存放路径/usr/local/libexec/trafficserver/regex_remap.so

注意在默认安装ATS时,它已经被安装到指定的路径下面了,你可以使用下面的命令验证

locate regex_remap.so

是否可以找到该so文件



config file的默认存放路径是/usr/local/etc/regex_remap/maps.reg(需要事先手动创建),它里面存放着我们设置的匹配规则,内容如下

^/pfpghc/(.*).swf$   http://www.baidu.com/image/in_011.png @status=302



下面是搭建反向代理的方法

在默认的ATS配置的基础上,关闭host header透传,修改如下配置项为

CONFIG proxy.config.url_remap.pristine_host_hdr INT 1 改成0



然后在remap.config中做如下配置:

map http://10.10.110.31:8080/ http://news.sina.com.cn/

reverse_map http://news.sina.com.cn/ http://10.10.110.31:8080/

这里map的第一个http表示是User-Agent去访问网页的请求url,第二个http表示ATS去获取源的url,整行的意思是,将dns的ip解析为新浪新闻主页;

这里reverse_map的这一行表示将新浪新闻源站返回的域名转成ip再响应给代理用户



对一个正常的如下网址:

http://news.sina.com.cn/s/2014-01-26/150729350128.shtml

使用下面的方式之一访问反向代理服务器

http://10.10.110.39:8080/s/2014-01-26/150729350128.shtml(公司)

http://192.168.0.106:8080/s/2014-01-26/150729350128.shtml(家里)



使用下面的方法来使重定向生效。

使用下面的方法使remap.config中的配置值生效,避免重启机器

 $ sudo touch /usr/local/etc/trafficserver/remap.config(如果没有变动,再更新一下文件创建时间,如果刚修改文件,不用命令)

 $ sudo traffic_line -x(这个命令使所有的配置文件重新加载,当修改了集群中的某一个节点的配置的时候,Traffic server会自动将更改应用到集群的其他节点。



通常的请求

http://d9.sina.com.cn/pfpghc/3106401f1783439d90720d6a2ead52bc.swf

变为如下请求

http://192.168.0.106:8080/pfpghc/3106401f1783439d90720d6a2ead52bc.swf

最终重定向到指定的图片地址

http://www.baidu.com/image/in_011.png



打开任意一个浏览器,在地址栏中输入上面的请求,可以看到swf变为一个图片的请求了



二、正向和反向代理同时共存

最终我得到的结论是,对广告必须使用正向代理加上remap方法。因为你必须确保一个网站所有的链接都经过ATS代理,如果这样的设置

map http://10.10.110.31:8080/ http://news.sina.com.cn/

只能定向news.sina.com.cn这个域名,对d9.sina.com.cn这样的域名没有办法。所以,这里我只希望对极个别链接做重定向。

如何在正向代理的同时做remap替换?

下面是我的实现方法:使用正向代理+remap正则匹配重定向,主要是配置。

在默认安装ATS的records.config中修改如下选项

CONFIG proxy.config.url_remap.pristine_host_hdr INT 1 改成0

CONFIG proxy.config.url_remap.remap_required INT 1 改成0,代表同时开启正向代理和反向代理



下面配置remap.conf,我的主要目的是借助remap实现regex_remap的功能,来实现对特定url的重定向或是改写

在remap.conf加入如下内容

map http://d1.sina.com.cn/ http://d1.sina.com.cn/ @plugin=regex_remap.so @pparam=maps.reg @pparam=profile

map http://d2.sina.com.cn/ http://d2.sina.com.cn/ @plugin=regex_remap.so @pparam=maps.reg @pparam=profile

map http://d3.sina.com.cn/ http://d3.sina.com.cn/ @plugin=regex_remap.so @pparam=maps.reg @pparam=profile

map http://d4.sina.com.cn/ http://d4.sina.com.cn/ @plugin=regex_remap.so @pparam=maps.reg @pparam=profile

map http://d5.sina.com.cn/ http://d5.sina.com.cn/ @plugin=regex_remap.so @pparam=maps.reg @pparam=profile

map http://d6.sina.com.cn/ http://d6.sina.com.cn/ @plugin=regex_remap.so @pparam=maps.reg @pparam=profile

map http://d7.sina.com.cn/ http://d7.sina.com.cn/ @plugin=regex_remap.so @pparam=maps.reg @pparam=profile

map http://d8.sina.com.cn/ http://d8.sina.com.cn/ @plugin=regex_remap.so @pparam=maps.reg @pparam=profile

map http://d9.sina.com.cn/ http://d9.sina.com.cn/ @plugin=regex_remap.so @pparam=maps.reg @pparam=profile 



接着在regs.map中加入如下匹配规则

^/(.*).swf$ http://www.baidu.com/image/in_011.png @status=302 

这里status表示使用302重定向

重启服务器



选择一个浏览器,比如firefox,设置正向代理为该ATS的ip和端口,这里是192.168.0.106:8080

然后输入目的网站,比如我要测试的news.sina.com.cn,就可以看到我要的重定向的结果了。



三、对remap和regex_remap规则的说明

map http://d9.sina.com.cn/ http://d9.sina.com.cn/ @plugin=regex_remap.so @pparam=maps.reg @pparam=profile

表示将客户端User-Agent发送的host域以同样的方式发送给源站Original Sever(简作OS),但是对path和query部分做正则匹配,匹配的规则是

^/(.*).swf$ http://www.baidu.com/image/in_011.png @status=302 

也就是将以http://d9.sina.com.cn/开头,以.swf尾结尾的url映射到你指定的后一个地址,这里是http://www.baidu.com/image/in_011.png,并以302的http status显示。当然,你可以映射到其它的地址,结合这个匹配规则。



下面摘自赵永明在CU上的帖子(链接见参考网址1):

regex_remap是从master上port过来的, 用来解决去问号, 以及其他变态的rewrite规则等, 简单说明如下:

如我们希望忽略cdn.zymlinux.net上的?后面的query, 我们只要配置remap.config

配置如下:

map http://cdn.zymlinux.net/ http://zymlinux.net/ @plugin=regex_remap.so @pparam=/tmp/regex_remap.config



并把regex_remap.config配置为:

.* http://source.zymlinux.net/$P



其中$P是URL中的path, 后面不跟query

当然, 这里前面的".*"是可以再进一步细化的, 以达成精细控制的目的. 而这个配置是可以给每个remap规则配置一个不同的配置文件, 极大的了增强了大家掌控的便利性.



这里面 cdn.zymlinux.net和zymlinux.net分别是什么?regex_remap.config里的source.zymlinux.net又是什么呢?

我们需要搞清楚这个关系,就是

cdn.zymlinux.net        是用户在浏览器地址栏中输入的host部分,也称域名

zymlinux.net     是ATS对上url重写后的url的host部分,比如重写的url是http://zymlinux.net/img/a.png?size=230*450

source.zymlinux.net    是上面重写url重定向后的url的host部分,比如重定向url是http://source.zymlinux.net/$P,这里做了正则匹配,那么就是http://source.zymlinux.net/img/a.png



更详细的说明, 请参照:

https://git-wip-us.apache.org/re ... emap/README;hb=HEAD

四、remap.config配置文件的说明(部分翻译)

使用remap.config允许你完成两件事情:

1)在发送给源服务器(Origin Server)之前,重写客户端发送的URL,

2)保护你的代理服务器,只允许某些请求通过

使用ATS默认的配置文件,至少要求配置一个remap规则,但是,这可以通过修改records.config中的下面的配置选项放松条件:

CONFIG proxy.config.url_remap.remap_required INT 0

支持的6种mapping规则如下:

map

map_with_referer

map_with_recv_port

reverse_map

redirect

redirect_temporary

这几种map类型都支持正则表达式匹配,同时使用regex_的前缀,但是有一些限制:

1)只有host域支持正则表达式, scheme,port和其它的field不支持

2)子模式的匹配个数只能最大到9,这意味着$0-$9能用于替换占位符,$0表示整个输入字符串

3)扩展字符串中的替换个数限制到10

下面是map支持正则表达式的一个例子:

上面的9条规则可以用下面的一条正则匹配表示:

regex_map http://d([1-9]).sina.com.cn/ http://d$1.sina.com.cn/ @plugin=regex_remap.so @pparam=maps.reg @pparam=profile

这里http://d([1-9]).sina.com.cn/可以表示上面的9个域名,$1表示匹配到的1-9中的某个数字



参考网址

http://bbs.chinaunix.net/forum.php?mod=viewthread&tid=3758890

http://bbs.chinaunix.net/thread-3768941-1-1.html

更多相关: