lizongbo at 618119.com 工作,生活,Android,前端,Linode,Ubuntu,nginx,java,apache,tomcat,Resin,mina,Hessian,XMPP,RPC

2010年12月23日

java.net.URL设置代理服务器和自定义Host头绕过DNS解析

Filed under: DNS,IP — 标签:, , , , , , , — lizongbo @ 00:34

在實際工作中,由于办公网络的限制,连接外网访问时需要指定代理,

而访问某些虚拟主机域名的服务器时,并不存在对应的dns解析记录,因此需要手工配置hosts文件来进行映射,非常麻烦。

于是根据java.net.URL的api整理了设置代理服务器和自定义Host头绕过DNS解析的方法:

代码如下:

[code]

public static void main(String[] args) throws IOException {
/**
* 下面这种方法是全局方式的设置 ,不建议使用。 System.setProperty(“proxySet”, “true”);
* System.setProperty(“proxyHost”, “proxy.lizongbo.com”);
* System.setProperty(“proxyPort”, “8080”);
*/
String urlStr = “http://about.me/lizongbo”;
urlStr = “http://about.me/lizongbo”;
HttpURLConnection httpConn = null;
StringBuilder sb = new StringBuilder();
URL url = new URL(urlStr);
String hostName = url.getHost();
// 根据配置自定义url里的ip地址
if (hostName.toLowerCase().endsWith(“.mqq.im”)) {
url = new URL(urlStr.replace(hostName, “127.0.0.1”));
}
System.out.println(url);
Proxy proxy = new Proxy(Proxy.Type.HTTP, new InetSocketAddress(
“proxy.lizongbo.com”, 8080));
// 只针对当前这个连接使用http代理
httpConn = (HttpURLConnection) url.openConnection(proxy);
httpConn.setRequestMethod(“GET”);
// 手工设置Host头信息以支持虚拟主机,通过这样的方式,可以避免去手工配置/etc/hosts来绕过dns解析的麻烦,尤其是程序经常在不同服务器上运行的时候,非常实用
httpConn.setRequestProperty(“Host”, hostName);
httpConn.setConnectTimeout(5000);
httpConn.connect();
InputStream is = httpConn.getInputStream();
BufferedReader br = new BufferedReader(new InputStreamReader(is,
“UTF-8”));
String line = null;
while ((line = br.readLine()) != null) {
sb.append(line).append(‘\n’);
}
// 关闭连接
httpConn.disconnect();
System.out.println(sb);
}

[/code]

2010年12月7日

使用java.net.URL解析校验检查url非法字符时撞上了bug

Filed under: Java — 标签:, , , — lizongbo @ 00:04

java.net.URL对url格式的检查不严格,如果使用java.net.URL来进行url解析并判断url是否为指定域名时将产生漏洞。

目前一共发现两种情况会解析错误:
1.java.net.URL对url里存在回车符和换行符被认为是合法的:
<%
String goUrl=”http://618119.com/\r\nX-Location: http://www.lizongbo.com/”;
//goUrl=java.net.URLEncoder.encode(goUrl, “UTF-8″);
response.sendRedirect(goUrl);
%>
例如上面的代码即使使用java.net.URL进行解析,也能正常解析,而被认为是个合法的url。
加上reponse.setheader的时候没做参数检查,导致写入了非法的head,这样会导致XSS注入攻击。

2.”http://618119.com#www.lizongbo.com/”
这样的url被java.net.URL解析得到的host是618119.com#www.lizongbo.com,因此按域名后缀判断的话会被误放过,
在浏览器地址栏里实际请求会变成:http://618119.com/#www.lizongbo.com/

这样也会产生非法跳转漏洞。

使用java.net.URI进行解析则不会出现这样的问题。

JDK里的关于java.net.URL里引用的文章连接 为: http://www.socs.uts.edu.au/MosaicDocs-old/url-primer.html,但是这个链接已经失效了。

因此封装下面这个工具类来对url进行检查,避免URL 参数里出现非法字符导致的非法跳转的漏洞:

[code]

package com.lizongbo.net;

import java.io.UnsupportedEncodingException;
import java.net.MalformedURLException;
import java.net.URI;
import java.net.URISyntaxException;
import java.net.URL;
/**
* 测试url检查是否完善的类
* @author lizongbo
*
*/
public class UrlTest {

/**
* @param args
* @throws MalformedURLException
* @throws UnsupportedEncodingException
* @throws URISyntaxException
*/
public static void main(String[] args) throws MalformedURLException,
UnsupportedEncodingException, URISyntaxException {
String urlStr = “http://618119.com/\r\nX-Location: http://www.lizongbo.com/”;
checkUrl(urlStr);
urlStr = “http://618119.com#www.lizongbo.com/”;
checkUrl(urlStr);
urlStr = “https://www.google.com/reader/view/#stream/feed%2Fhttp%3A%2F%2Fwww.lizongbo.com%2Ffeeds%2Fposts%2Fdefault”;
checkUrl(urlStr);
checkUrl(“file:C:/autoexec.bat”);
checkUrl(“file:/C:/autoexec.bat”);
checkUrl(“file://C:/autoexec.bat”);
checkUrl(“file:///C:/autoexec.bat”);
checkUrl(“/aa.jsp”);
}

private static void checkUrl(String urlStr) {
try {
java.net.URI uri = new URI(urlStr);
dump(uri);
} catch (Exception e) {
e.printStackTrace();
}
try {
java.net.URL url = new URL(urlStr);
dump(url);
} catch (Exception e) {
e.printStackTrace();
}
}

private static void dump(java.net.URL url) {
try {
System.out.println(“url=” + url + “,protocol=” + url.getProtocol()
+ “,host=” + url.getHost() + “,path=” + url.getPath()
+ “,query=” + url.getQuery() + “,ref=” + url.getRef()
+ “,url.toURI=” + url.toURI());
} catch (URISyntaxException e) {
e.printStackTrace();
}
}

private static void dump(java.net.URI uri) {
try {
System.out.println(“uri=” + uri + “,scheme=” + uri.getScheme()
+ “,host=” + uri.getHost() + “,path=” + uri.getPath()
+ “,query=” + uri.getQuery() + “,fragment=”
+ uri.getFragment() + “,uri.toURL=” + uri.toURL());
} catch (MalformedURLException e) {
e.printStackTrace();
}
}

/**
* 使用java.net.URI判断指定的url是否为站内合法的目标地址,对url内容进行严格检查
*
* @param goUrl
* @return
*/
public static boolean verifyURL(String goUrl) {
if (goUrl == null) {
return false;
}
java.net.URI cgoUrl = null;
try {
cgoUrl = new java.net.URI(goUrl);// 不使用java.net.URL,而是改用URI进行校验
} catch (Exception e) {
return false;
}
if (!”http”.equalsIgnoreCase(cgoUrl.getScheme())
&& !”https”.equalsIgnoreCase(cgoUrl.getScheme())) {
return false;
}
String hostString = cgoUrl.getHost();
if (hostString == null) {
return false;
}
hostString = hostString.toLowerCase();
String allowDomains = “.618119.com;.lizongbo.com;.mqq.im;.seotijian.com”;
if (allowDomains.length() > 0) {
String[] domains = allowDomains.split(“;”);
for (int i = 0; i < domains.length; i++) {
String dmTmp = domains[i];
if (dmTmp != null && dmTmp.length() > 0
&& hostString.endsWith(dmTmp)) {
return true;
}
}
}
return false;
}

/**
* 使用判断java.net.URL指定的url是否为站内合法的目标地址,针对特殊url的判断存在bug<br/>
* “http://618119.com/\r\nX-Location: http://www.lizongbo.com/”<br/>
* “http://www.lizongbo.com#618119.com/” 这两种会绕过检查,导致安全漏洞<br/>
*
* @param goUrl
* @return
*/
public static boolean verifyURLOld(String goUrl) {
if (goUrl == null) {
return false;
}
java.net.URL cgoUrl = null;
try {
cgoUrl = new java.net.URL(goUrl);// 改用URI进行校验
} catch (Exception e) {
return false;
}
if (!”http”.equalsIgnoreCase(cgoUrl.getProtocol())
&& !”https”.equalsIgnoreCase(cgoUrl.getProtocol())) {
return false;
}
String hostString = cgoUrl.getHost().toLowerCase();
String allowDomains = “.618119.com;.lizongbo.com;.mqq.im”;
if (allowDomains.length() > 0) {
String[] domains = allowDomains.split(“;”);
for (int i = 0; i < domains.length; i++) {
String dmTmp = domains[i];
if (dmTmp != null && dmTmp.length() > 0
&& hostString.endsWith(dmTmp)) {
return true;
}
}
}
return false;
}
}

[code]

2009年01月11日

扩展java.net.URL支持自定义协议来优化hessian的调用

Filed under: Java — 标签:, , , , , , , — lizongbo @ 22:51

扩展java.net.URL支持自定义协议来优化hessian调用

hessian是个高性能的java RPC调用协议,但是官方默认只提供了基于http和https两种方式的远程调用。
虽然每天使用http方式调用上千万次也没出现性能问题,(有jdk一份功劳,jdk1.5及以上版本支持了http.KeepAlive,
默认设置为: http.KeepAlive.remainingData=512
http.KeepAlive.queuedConnections=10)
但是如果能够改成tcp纯socket长连接池方式,性能是还可以优化的,因为把http的header头信息给省了七七八八。
由于hessian使用的URL和URLConnection来发送hessian请求和应答的,而URL的协议处理是可以扩展的,
因此可以通过扩展URL支持自定义协议来灵活切换hessian使用http或者tcp或者udp方式进行请求发送和接收应答。

查找相关资料后整理了三种扩展方法:

1.通过用户指定的package名称的最后一位作为协议名称(包名要是小写的)。
例如我自定义了三个协议,hessiantcp,hessianudp,hessiantcpudp;
则需要建立三个继承java.net.URLStreamHandler的Handler类(实现类的名字必须是Handler).
即:
com.lizongbo.hessian.protocol.hessiantcp.Handler.java
com.lizongbo.hessian.protocol.hessianudp.Handler.java
com.lizongbo.hessian.protocol.hessiantcpudp.Handler.java

在运行时,还要指定系统属性java.protocol.handler.pkgs
或者在java命令行里增加启动参数:
-Djava.protocol.handler.pkgs=com.lizongbo.hessian.protocol(多个包名之间用竖线隔开,例如:
-Djava.protocol.handler.pkgs=com.lizongbo.hessian.protocola|com.lizongbo.hessian.protocolb)

或者在代码里调用创建URL之前,先执行:
[code]
System.setProperty(“java.protocol.handler.pkgs”,”com.lizongbo.hessian.protocol”);
URL serviceUrl = new URL(“hessiantcp://618119.com/blog/hessian/service”);
[/code]
这样,用户便能够通过URL对象处理hessiantcp://这样的协议了,
否则,使用hessiantcp://这样的协议会导致异常。

参考:http://www.tuscany.org.cn/index.php/Tuscany与JBoss集成中遇到的问题及排除

http://java.sun.com/developer/onlineTraining/protocolhandlers/

2.设置指定的URLStreamHandlerFactory也可以扩展自定义的协议。
[code]
package com.lizongbo.hessian.protocol;

import java.net.*;
import java.util.Hashtable;

class HessianURLStreamHandlerFactory implements URLStreamHandlerFactory {
private String packagePrefix = “com.lizongbo.hessian.protocol”;
protected static Hashtable handlers
= new Hashtable
();
private URLStreamHandlerFactory otherFactory;
static {
URLStreamHandler handler = new com.lizongbo.hessian.protocol.
hessiantcp.Handler();
handlers.put(“hessiantcp”, handler);
handler = new com.lizongbo.hessian.protocol.hessianudp.Handler();
handlers.put(“hessianudp”, handler);
handler = new com.lizongbo.hessian.protocol.hessiantcpudp.Handler();
handlers.put(“hessiantcpudp”, handler);

}

public HessianURLStreamHandlerFactory() {
this(null);
}

public HessianURLStreamHandlerFactory(URLStreamHandlerFactory otherFactory) {
this.setOtherFactory(otherFactory);
}

public void setOtherFactory(URLStreamHandlerFactory otherFactory) {
this.otherFactory = otherFactory;
}

public URLStreamHandlerFactory getOtherFactory() {
return otherFactory;
}

public URLStreamHandler createURLStreamHandler(String protocol) {
URLStreamHandler handler = handlers.get(protocol);
if (handler != null) {
return handler;
}
try {
String clsName = packagePrefix + “.” + protocol + “.Handler”;
Class cls = null;
try {
cls = Class.forName(clsName);
} catch (ClassNotFoundException e) {
ClassLoader cl = ClassLoader.getSystemClassLoader();
if (cl != null) {
cls = cl.loadClass(clsName);
}
}
if (cls != null) {
handler = (URLStreamHandler) cls.newInstance();
handlers.put(protocol, handler);
return handler;
}
} catch (Exception e) {
// any number of exceptions can get thrown here
}

if (otherFactory != null) {
return otherFactory.createURLStreamHandler(protocol);
}
if (“http”.equalsIgnoreCase(protocol)) {
return null; //返回非null的URLStreamHandler还可以覆盖java默认实现协议的URLStreamHandler
}

return null;
}

}

[/code]

在代码里调用创建URL之前,先执行:
[code]
static{
try {
/**
该行代码只能执行一次,否则会抛出工厂已经定义的错误,错误信息如下:
java.lang.Error: factory already defined
at java.net.URL.setURLStreamHandlerFactory(URL.java:1074)
这样的方式还有个缺点,就是工厂一旦被其它第三方组件占用,那么使用这个方法就只能二者选一,
除非其它组件支持创建URLStreamHandlerFactory实例,
因为java.net.URL是不提供获取已经设置存在的factory的方法的。

*/
URL.setURLStreamHandlerFactory(new HessianURLStreamHandlerFactory());
} catch (Exception ex) {

}
}
URL serviceUrl = new URL(“hessiantcp://618119.com/blog/hessian/service”);
[/code]

早期java没有自带jsse的时候,想要使用到https协议就需要类似的处理,
参考: http://www.javaworld.com/javaworld/javatips/jw-javatip96.html

3.在创建URL的时候,手工识别,并实现自定义协议所需的URLStreamHandler.
代码如下:
public ProtobufRpcChannel(String url) {
try {
if (url != null && url.toLowerCase().startsWith(“hessiantcp://”)) {
serviceUrl = new URL(null, url, new URLStreamHandler() {
protected URLConnection openConnection(URL u) throws
IOException {
return null;//在这里处理
}
});
} else {
serviceUrl = new URL(url);
}
} catch (MalformedURLException ex) {
ex.printStackTrace();

}

可以参考一个jms协议的扩展例子:http://www.ibm.com/developerworks/cn/java/l-jms/index.html

有个注意事项,如果试用了非http方式的发送hessian请求,
接口调用方法的返回值不能够是java.io.InputStream,因为hessian的代码里写死了:
在返回InputStream的时候,连接类别被强行转成HttpURLConnection(但是ResultInputStream里对httpConn并没啥特别的操作,
暂时没看懂作者为何这样写的)

[code]
Object value = in.readObject(method.getReturnType());

if (value instanceof InputStream) {
value = new ResultInputStream(httpConn, is, in, (InputStream) value);
is = null;
httpConn = null;
}
[/code]

Powered by WordPress