lizongbo at 618119.com 工作,生活,Android,前端,Linode,Ubuntu,nginx,java,apache,tomcat,Resin,mina,Hessian,XMPP,RPC

2010年12月23日

java.net.URL设置代理服务器和自定义Host头绕过DNS解析

Filed under: DNS,IP — 标签:, , , , , , , — lizongbo @ 00:34

在實際工作中,由于办公网络的限制,连接外网访问时需要指定代理,

而访问某些虚拟主机域名的服务器时,并不存在对应的dns解析记录,因此需要手工配置hosts文件来进行映射,非常麻烦。

于是根据java.net.URL的api整理了设置代理服务器和自定义Host头绕过DNS解析的方法:

代码如下:

[code]

public static void main(String[] args) throws IOException {
/**
* 下面这种方法是全局方式的设置 ,不建议使用。 System.setProperty(“proxySet”, “true”);
* System.setProperty(“proxyHost”, “proxy.lizongbo.com”);
* System.setProperty(“proxyPort”, “8080”);
*/
String urlStr = “http://about.me/lizongbo”;
urlStr = “http://about.me/lizongbo”;
HttpURLConnection httpConn = null;
StringBuilder sb = new StringBuilder();
URL url = new URL(urlStr);
String hostName = url.getHost();
// 根据配置自定义url里的ip地址
if (hostName.toLowerCase().endsWith(“.mqq.im”)) {
url = new URL(urlStr.replace(hostName, “127.0.0.1”));
}
System.out.println(url);
Proxy proxy = new Proxy(Proxy.Type.HTTP, new InetSocketAddress(
“proxy.lizongbo.com”, 8080));
// 只针对当前这个连接使用http代理
httpConn = (HttpURLConnection) url.openConnection(proxy);
httpConn.setRequestMethod(“GET”);
// 手工设置Host头信息以支持虚拟主机,通过这样的方式,可以避免去手工配置/etc/hosts来绕过dns解析的麻烦,尤其是程序经常在不同服务器上运行的时候,非常实用
httpConn.setRequestProperty(“Host”, hostName);
httpConn.setConnectTimeout(5000);
httpConn.connect();
InputStream is = httpConn.getInputStream();
BufferedReader br = new BufferedReader(new InputStreamReader(is,
“UTF-8”));
String line = null;
while ((line = br.readLine()) != null) {
sb.append(line).append(‘\n’);
}
// 关闭连接
httpConn.disconnect();
System.out.println(sb);
}

[/code]

2009年03月8日

深圳电信ADSL的DNS劫持升级了

Filed under: 杂七杂八 — 标签:, — lizongbo @ 23:41

深圳电信ADSL的DNS劫持升级了。
以前层说过深圳电信对adsl的DNS进行劫持,劫持的手法参考:
http://618119.com/archives/2007/12/15/47.html
中间出现了219.133.33这个网段的其它ip。
现在他们的方式又升级了,ip段换到了121.15.207,
刚才查看源码就发现了121.15.207.132和121.15.207.136这两个ip。
偷偷访问的url 是:http://121.15.207.136:4022/logo.jpg?p=
下面是查看源代码得到的内容:

[code]

<html>
<head>
<meta http-equiv=”refresh” content=”2″/>
</head>
<body>
</body>
<script language=”javascript”>
refresh=function(){
location.reload(true);
}
test=function(){
var objElement=document.createElement(“iframe”);
var link=”http://121.15.207.136:4022/logo.jpg?p=”;
link += Math.floor((new Date()).getTime()/1000);
link += “|”;
link +=  navigator.appMinorVersion;
link += “|”;
link += screen.availHeight;
link += “|”;
link += screen.availWidth;
link += “|”;
link += screen.colorDepth;
link += “|”;
link += screen.height;
link += “|”;
link += screen.width;
objElement.setAttribute(“src”,link);
objElement.style.display=”none”;
document.body.appendChild(objElement);
};
window.setInterval(“window.status=’ ‘”,200);
window.setTimeout(‘refresh()’,1000);
test();
</script>
</html>

[/code]

解决办法,在路由器的设置里,找到“防火墙”,“域名过滤”,勾上“启用域名过滤”,域名过滤字符串 填上 219.133.33和121.15.207,勾上“启用”即可。
我用的路由器牌子是 阿尔法。很久以前的一个四口的。

2008年01月29日

关于分布式负载均衡的几个设置

Filed under: DNS,JavaScript — 标签:, , , — lizongbo @ 08:38

服务器对外的展现要统一,简洁。
即用户在URL里看到的地址是很方便记忆的。

而对于页面中嵌入的图片,脚本,样式表,视频,音频等文件,则可以放在其它服务器上。

第一层: DNS记录轮询负载均衡
www.google.com为例进行分析
1.首先是将 www.google.com,指定多个cname,根据不同的网络线路请求得到不同的别名

比如在中国得到的别名为:www.l.google.com,
www.l.google.com 的别名为: www-china.l.google.com

www-china.l.google.com再指定多个ip的a记录,
例如 ip 64.233.189.99, 64.233.189.104,64.233.167.147.

99,104,147这三个ip分别实现ip别名绑定,即如果99这个ip挂了,104会自动接管该ip到本机。

通过这样的方式,保证用户最终访问到的ip始终在线。

在cname解析的地方,可以使用多层cname解析,以实现更细粒度的负载均衡并灵活切换。

假设当www-china.l.google.com下整个节点都断网了,则只需要将www.l.google.com指向www-usa.l.google.com这样就可以切换了。

(纯属猜测:指定了cname的域名,则不要再配置a记录,因为a记录的优先级比cname高。)

dns解析过程记录如下:

[code]
E:\>nslookup
DNS request timed out.
timeout was 2 seconds.
*** Can’t find server name for address 192.168.18.1: Timed out
*** Default servers are not available
Default Server:  UnKnown
Address:  192.168.18.1

> server 202.96.128.86
DNS request timed out.
timeout was 2 seconds.
Default Server:  [202.96.128.86]
Address:  202.96.128.86

> server 202.96.128.86
Default Server:  cache-a.guangzhou.gd.cn
Address:  202.96.128.86

> set q=cname
> www.google.com
Server:  cache-a.guangzhou.gd.cn
Address:  202.96.128.86

Non-authoritative answer:
www.google.com  canonical name = www.l.google.com
> www.l.google.com
Server:  cache-a.guangzhou.gd.cn
Address:  202.96.128.86

Non-authoritative answer:
www.l.google.com        canonical name = www-china.l.google.com
> www-china.l.google.com
Server:  cache-a.guangzhou.gd.cn
Address:  202.96.128.86

l.google.com
primary name server = f.l.google.com
responsible mail addr = dns-admin.google.com
serial  = 1331146
refresh = 900 (15 mins)
retry   = 900 (15 mins)
expire  = 1800 (30 mins)
default TTL = 60 (1 min)
> set q=a
> www-china.l.google.com
Server:  cache-a.guangzhou.gd.cn
Address:  202.96.128.86

Non-authoritative answer:
Name:    www-china.l.google.com
Addresses:  64.233.189.99, 64.233.189.104

[/code]

(也可用这个命令查询: dig @202.96.128.86 www.google.com +trace)

第二层,服务端请求分发。

前端的ip得到客户端的请求,并不是在本机进行业务逻辑处理,而是对请求进行初步解析过滤,再分发给其它服务器进行处理,
请求分发规则通常是基于url的,也可根据其它附加条件进行分发,例如GET/POST,user-Agent,remoteAddr,urlhash等。

第三层:客户端分发请求。

通常用于对图片资源的请求进行分发,按找浏览器的默认限制,对同一服务器的并发连接不超过2个,
因此,假设一个网页里要显示40张图片,而这40张图片,如果使用同一个域名的话,及时后台做了请求分发,
而受浏览器的限制,假设一秒中下载两张图,打开这40张图片,也需要20秒,

而在采取客户端分发请求的模式,将图片的链接自动分布的请求到远程多台服务器,那么以同时请求5台为例,则相当于将对网站的并发请求提高了 5倍,
获得了了10个并发请求。
不光是图片资源,其它资源也都可以采取这种模式,url的动态分布,可以在服务端生成html代码的时候完成,
也可以在html的Javascript中预先存放一个可用服务器列表

www.flickr.com为例:

http://farm1.static.flickr.com/
http://farm2.static.flickr.com/
http://farm3.static.flickr.com/
……
http://farmx.static.flickr.com/

Older Posts »

Powered by WordPress