j2se 嵌入式腳本抓取引擎

本文來源于：http://www.cnblogs.com/birdshover/
J2SE 6.0 （有些地方也叫1.6）增加了腳本嵌入，使JAVA可以模擬動態語言的方式運行。這個類是ScriptEngineManager，被添加在javax.script命名空間中。執行腳本的程序很簡單，看以下代碼：

        ScriptEngineManager m = new ScriptEngineManager();
        ScriptEngine engine = m.getEngineByExtension("js");
        try {
            engine.eval("java.lang.System.out.println(\"測試腳本輸出\");");
        } catch (ScriptException e) {
            log.Log("執行腳本錯誤:" + file.getFileName());
            log.Log(e.getMessage());
        }
在java執行的javascript代碼中也可以調用java對象。這樣就可以由java提供一些API，由javascript來組織邏輯部分。
比如，可以讓上面的代碼執行以下腳本：
var Crawler = com.cnblogs.yurow.engin.Crawler;
var StreamWriter = com.cnblogs.yurow.engin.StreamWriter;
var RAMFile = com.cnblogs.yurow.engin.RAMFile;
var out = java.lang.System.out;
var starturl = "

for(var i = 435112;i<435212;i++){
    var tempurl = starturl + i;
    var content = new Crawler(tempurl).getResponse("utf-8");
    if(content != null){
        var file = new RAMFile(tempurl,content);
        StreamWriter.Save("result/" + i + ".html",file,"utf-8",true);
    }
}
其中Crawler是抓取類，StreamWriter是用來保存文件的，RAMFile是內存中文件的組織結構。這些都是自己定義的java類。
我包裝了一個JCrawler.jar，讀取當前目錄下的js文件以確定需要執行的腳本。這些腳本可能被存放在不同的目錄。讀取到這個目錄列表，然后執行目錄列表中每個javascript的邏輯。
演示抓取程序：