zz 标 题: 求weka JVM outofMemory问题的解决方案【已解决】

发信人: finallyliuyu (领头驴), 信区: NLP

标  题: 求weka JVM outofMemory问题的解决方案

发信站: 水木社区 (Sun Feb 20 10:36:12 2011), 站内



正在用weka做文本分类的实验（主要侧重点在于衡量特征词选择算法的优劣）。

语料库： Reteurs21578

featurewords 100

训练集规模：6950

测试集规模:2676

（采用稀疏数据储存模式）生成的arff文件大小：trainCorpus.arff(538k),testCorpus.arff(208k)分类器采用SMO

结果报错run outof memory。

参照一位同学的方法把runWeka.ini中的maxheap=2048m,依然无效。。

请教版内的各位大神还有别的解决方案吗？

看到网络上有一些改JVM大小的方法，可是我对java不太熟悉哈，不知道如何修改。求详细步骤。

--

NLP业余爱好者一枚



※ 来源:·水木社区 http://newsmth.net/·[FROM: 159.226.20.*]

[本篇全文] [回复文章] [本篇作者：finallyliuyu] [回信给作者] [进入讨论区] [返回顶部][分享到 搜狐微博]

2

发信人: finallyliuyu (领头驴), 信区: NLP

标  题: Re: 求weka JVM outofMemory问题的解决方案

发信站: 水木社区 (Sun Feb 20 10:47:05 2011), 站内



我把我自己的数据上传了，求助电脑上装有weka的童鞋帮忙跑下，不胜感激。另外我疑心我自己的weka安装有问题。 weka官方网上有两种weka,一种是自带jvm的，一种是不带jvm的。由于我电脑上以前装过java SDK,所以我选的是不带jvm的，这样安装后的java在快捷菜单项上无法启动



【 在 finallyliuyu (领头驴) 的大作中提到: 】

: 正在用weka做文本分类的实验（主要侧重点在于衡量特征词选择算法的优劣）。

: 语料库： Reteurs21578

: featurewords 100

: ...................



--

NLP业余爱好者一枚



※ 来源:·水木社区 http://newsmth.net/·[FROM: 159.226.20.*]





附件: trainCorpus.arff (538KB)



附件: testCorpus.arff (207KB)

[本篇全文] [回复文章] [本篇作者：xwild] [回信给作者] [进入讨论区] [返回顶部][分享到 搜狐微博]

3

发信人: xwild (xwild), 信区: NLP

标  题: Re: 求weka JVM outofMemory问题的解决方案

发信站: 水木社区 (Sun Feb 20 10:53:01 2011), 站内



可以试一下weka的命令行，可以设置最大内存

【 在 finallyliuyu (领头驴) 的大作中提到: 】

: 正在用weka做文本分类的实验（主要侧重点在于衡量特征词选择算法的优劣）。

: 语料库： Reteurs21578

: featurewords 100

: ...................



--



※ 来源:·水木社区 http://newsmth.net/·[FROM: 211.87.234.*]

[本篇全文] [回复文章] [本篇作者：finallyliuyu] [回信给作者] [进入讨论区] [返回顶部][分享到 搜狐微博]

4

发信人: finallyliuyu (领头驴), 信区: NLP

标  题: Re: 求weka JVM outofMemory问题的解决方案

发信站: 水木社区 (Sun Feb 20 11:28:23 2011), 站内



我这边按照wekadoc里面调用weka命令行的方法进行调用，没有反应哈，不出分类过程。

【 在 xwild (xwild) 的大作中提到: 】

: 可以试一下weka的命令行，可以设置最大内存



--

NLP业余爱好者一枚



※ 来源:·水木社区 http://newsmth.net/·[FROM: 159.226.20.*]





此主题相关图片如下：wekaSimpleCLI调用.jpg (11KB)

[本篇全文] [回复文章] [本篇作者：xphan] [回信给作者] [进入讨论区] [返回顶部][分享到 搜狐微博]

5

发信人: xphan (DBlue), 信区: NLP

标  题: Re: 求weka JVM outofMemory问题的解决方案

发信站: 水木社区 (Sun Feb 20 16:43:30 2011), 站内



java 在命令行下可以用 -Xms 和-Xmx来设置最小最大内存，比如

java -Xms256m -Xmx5g ...

不过在windows下运行的话，系统对内存也有限制





【 在 finallyliuyu (领头驴) 的大作中提到: 】

: 正在用weka做文本分类的实验（主要侧重点在于衡量特征词选择算法的优劣）。

: 语料库： Reteurs21578

: featurewords 100

: ...................



--



※ 来源:·水木社区 http://newsmth.net/·[FROM: 125.39.171.*]

[本篇全文] [回复文章] [本篇作者：fancyerii] [回信给作者] [进入讨论区] [返回顶部][分享到 搜狐微博]

6

发信人: fancyerii (喵了个咪的), 信区: NLP

标  题: Re: 求weka JVM outofMemory问题的解决方案

发信站: 水木社区 (Sun Feb 20 18:14:10 2011), 站内



这样的问题要么自己调试代码，要么发到他们的maillist比较好。

【 在 finallyliuyu (领头驴) 的大作中提到: 】

: 正在用weka做文本分类的实验（主要侧重点在于衡量特征词选择算法的优劣）。

: 语料库： Reteurs21578

: featurewords 100

: ...................



--



※ 来源:·水木社区 http://newsmth.net/·[FROM: 162.105.200.*]

[本篇全文] [回复文章] [本篇作者：finallyliuyu] [回信给作者] [进入讨论区] [返回顶部][分享到 搜狐微博]

7

发信人: finallyliuyu (领头驴), 信区: NLP

标  题: Re: 求weka JVM outofMemory问题的解决方案

发信站: 水木社区 (Mon Feb 21 21:14:03 2011), 站内



多谢xwild,这个问题目前已经解决。 方案如下：

在weka SimpleCLI窗口依次输入

java -Xmx 1024m

java weka.classifiers.lazy.IBk -K 5 -t data/trainCorpus.arff -T data/testCorpus.arff -i

此处以knn为例来说明如何利用控制台解决weka内存限制的问题。

参考资料 weka自带的WekaManual 第一章 第一节A command line primer

 Morgan.Kaufmann data mining   第十三章第一节 "The command line interface"



【 在 xwild (xwild) 的大作中提到: 】

: 可以试一下weka的命令行，可以设置最大内存



--

NLP业余爱好者一枚



※ 来源:·水木社区 http://newsmth.net/·[FROM: 159.226.20.*]