SVM实验报告

SVM分类算法一、数据源说明1、数据源说远和理解：采用的实验数据源为第6组：TheInsuranceCompanyBenchmark(COIL2000)TICDATA2000.txt:这个数据集用来训练和检验预测模型，并且建立了一个5822个客户的记录的描述。每个记录由86个属性组成，包含社会人口数据（属性1-43）和产品的所有关系（属性44-86）。社会人口数据是由派生邮政编码派生而来的，生活在具有相同邮政编码地区的所有客户都具有相同的社会人口属性。第86个属性：“大篷车：家庭移动政策”，是我们的目标变量。共有5822条记录，根据要求，全部用来训练。TICEVAL2000.txt:这个数据集是需要预测（4000个客户记录）的数据集。它和TICDATA2000.txt它具有相同的格式，只是没有最后一列的目标记录。我们只希望返回预测目标的列表集，所有数据集都用制表符进行分隔。共有4003（自己加了三条数据），根据要求，用来做预测。TICTGTS2000.txt：最终的目标评估数据。这是一个实际情况下的目标数据，将与我们预测的结果进行校验。我们的预测结果将放在result.txt文件中。数据集理解：本实验任务可以理解为分类问题，即分为2类，也就是数据源的第86列，可以分为0、1两类。我们首先需要对TICDATA2000.txt进行训练，生成model，再根据model进行预测。2、数据清理代码中需要对数据集进行缩放的目的在于：A、避免一些特征值范围过大而另一些特征值范围过小；B、避免在训练时为了计算核函数而计算内积的时候引起数值计算的困难。因此，通常将数据缩放到[-1,1]或者是[0,1]之间。二、数据挖掘的算法说明1、svm算法说明LIBSVM软件包是台湾大学林智仁(Chih-JenLin)博士等用C++实现的SVM库，并且拥有matlab,perl等工具箱或者代码,移植和使用都比较方便.它可以解决分类问题(包括C-SVC、n-SVC)、回归问题(包括e-SVR、n-SVR)以及分布估计(one-class-SVM)等问题，提供了线性、多项式、径向基和S形函数四种常用的核函数供选择，可以有效地解决多类问题、交叉验证选择参数、对不平衡样本加权、多类问题的概率估计等。2、实现过程在源程序里面，主要由以下2个函数来实现：(1)structsvm_model*svm_train(conststructsvm_problem*prob,conststructsvm_parameter*param);该函数用来做训练，参数prob，是svm_problem类型数据，具体结构定义如下：structsvm_problem//存储本次参加运算的所有样本(数据集)，及其所属类别。{intn;//记录样本总数double*y;//指向样本所属类别的数组structsvm_node**x;//指向一个存储内容为指针的数组};其中svm_node的结构体定义如下：structsvm_node//用来存储输入空间中的单个特征{intindex;//输入空间序号，假设输入空间数为mdoublevalue;//该输入空间的值};所以，prob也可以说是问题的指针，它指向样本数据的类别和输入向量，在内存中的具体结构图如下：图1.1LIBSVM训练时，样本数据在内存中的存放结构只需在内存中申请n*(m+1)*sizeof(structsvm_node)大小的空间，并在里面填入每个样本的每个输入空间的值，即可在程序中完成prob参数的设置。参数param，是svm_parameter数据结构，具体结构定义如下：structsvm_parameter//训练参数{intsvm_type;//SVM类型，intkernel_type;//核函数类型intdegree;/*forpoly*/doublegamma;/*forpoly/rbf/sigmoid*/doublecoef0;/*forpoly/sigmoid*//*thesearefortrainingonly*/doublecache_size;/*inMB制定训练所需要的内存*/doubleeps;/*stoppingcriteria*/doubleC;/*forC_SVC,EPSILON_SVRandNU_SVR，惩罚因子*/intnr_weight;/*forC_SVC权重的数目*/int*weight_label;/*forC_SVC权重，元素个数由nr_weight决定*/double*weight;/*forC_SVC*/doublenu;/*forNU_SVC,ONE_CLASS,andNU_SVR*/doublep;/*forEPSILON_SVR*/intshrinking;/*usetheshrinkingheuristics指明训练过程是否使用压缩*/intprobability;/*doprobabilityestimates指明是否要做概率估计*/}其中，SVM类型和核函数类型如下：enum{C_SVC,NU_SVC,ONE_CLASS,EPSILON_SVR,NU_SVR};/*svm_type*/enum{LINEAR,POLY,RBF,SIGMOID,PRECOMPUTED};/*kernel_type*/只需申请一个svm_parameter结构体，并按实际需要设定SVM类型、核函数和各种参数的值即可完成参数param的设置。设定完这两个参数，就可以直接在程序中调用训练函数进行训练了，该其函数返回一个structsvm_model*SVM模型的指针，可以使用svm_save_model(constchar*model_file_name,conststructsvm_model*model)函数，把这个模型保存在磁盘中。至此，训练函数的移植已经完成。(2)doublesvm_predict(conststructsvm_model*model,conststructsvm_node*x);参数model，是一个SVM模型的指针，可以使用函数structsvm_model*svm_load_model(constchar*model_file_name)，导入训练时保存好的SVM模型，此函数返回一个SVM模型的指针，可以直接赋值给变量model。参数x，是conststructsvm_node结构体的指针，本意是一个输入空间的指针，但实际上，该函数执行的时候，是从参数x处计算输入空间，直到遇到单个样本数据结束标记-1才结束，也就是说，该函数运算了单个样本中的所有输入空间数据。因此，在调用此函数时，必须先把预测样本的数据按图3.4中的固定格式写入内存中。另外，该函数只能预测一个样本的值，本文需要对图像中的所有像数点预测，就要使用for循环反复调用。该函数返回一个double类型，指明被预测数据属于哪个类。面对两分类问题的时候，通常使用+1代表正样本，即类1；-1代表负样本，即类2。最后根据返回的double值就可以知道预测数据的类别了。三、算法源代码及注释说明1、需要在工程中添加头文件svm.h和源文件svm.cpp2、自己编写的源代码（C++实现）（共230行）：#includesvm.h#includeiostream#includelist#includeiterator#includevector#includestring#includectimeusingnamespacestd;#ifdefWIN32#pragmawarning(disable:45144786)#endifsvm_parameterparam;svm_problemprob;svm_model*svmModel;listsvm_node*xList;listdoubleyList;constintMAX=10;constintnTstTimes=10;vectorintpredictvalue;vectorintrealvalue;inttrainNum=0;//设置参数voidsetParam(){param.svm_type=C_SVC;param.kernel_type=RBF;param.degree=3;param.gamma=0.5;param.coef0=0;param.nu=0.5;param.cache_size=40;param.C=500;param.eps=1e-3;param.p=0.1;param.shrinking=1;//param.probability=0;param.nr_weight=0;param.weight=NULL;param.weight_label=NULL;}voidtrain(char*filePath){FILE*fp;intk;intline=0;inttemp;if((fp=fopen(filePath,rt))==NULL)return;while(1){svm_node*features=newsvm_node[85+1];for(k=0;k85;k++){fscanf(fp,%d,&temp);features[k].index=k+1;features[k].value=temp/(MAX*1.0);}features[85].index=-1;fscanf(fp,%d,&temp);xList.push_back(features);yList.push_back(temp);line++;trainNum=line;if(feof(fp))break;}setParam();prob.l=line;prob.x=newsvm_node*[prob.l];//对应的特征向量prob.y=newdouble[prob.l];//放的是值intindex=0;while(!xList.empty()){prob.x[index]=xList.front();prob.y[index]=yList.front();xList.pop_front();yList.pop_front();index++;}//std::coutprob.llistend\n;svmModel=svm_train(&prob,¶m);//std::cout\nover\n;//保存modelsvm_save_model(model.txt,svmModel);//释放空间deleteprob.y;delete[]prob.x;svm_free_and_destroy_model(&svmModel);}voidpredict(char*filePath){svm_model*svmModel=svm_load_model(model.txt);FILE*fp;intline=0;inttemp;if((fp=fopen(filePath,rt))==NULL)return;while(1){svm_node*input=newsvm_node[85+1];for(intk=0;k85;k++){fscanf(fp,%d,&temp);input[k].index=k+1;input[k].value=temp/(MAX*1.0);}input[85].index=-1;intpredictValue=svm_predict(svmModel,input);predictvalue.push_back(predictValue);coutpredictValueendl;if(feof(fp))break;}}voidwriteValue(vectorint&v,stringfilePath){FILE*pfile=fopen(filePath,wb);vectorint::iteratoriter=v.begin();char*c=newchar[2];f