首页 > 互联网 > 计算机 > java语言 > CSV文件的生产与分析

CSV文件的生产与分析

   来源:学问社    阅读: 2.35W 次
字号:

用手机扫描二维码 在手机上继续观看

手机查看

CSV文件是指Excel可以识别的后缀名为CSV的文件,网站系统后台用来存储分析数据的时候有可能会用到它。其实CSV文件的读取和做成比较简单,主要的技术点是文件的读写。不过CSV文件的分析和生成有一定的代表性,可以通过对CSV文件的生成和分析的实现,来了解后台处理批量数据的简单思路。下面,小编为大家搜索整理了CSV文件的生产与分析,希望能给大家带来帮助!更多精彩内容请及时关注我们应届毕业生考试网!

CSV文件的生产与分析

打开Excel,新建一个文件,在里面随便输入一些数据,然后另存为一个CSV文件,再次用Excel打开的时候,发现只有一个sheet。用一个记事本打开这个文件,可以看到类似如下的数据。

aaa,bbb,ccc,ddd

aaa2,bbb2,,ddd2

aaa3,bbb3,ccc3,

aaa4,bbb4,ccc4,ddd4

仔细观察数据,可以确定以下几点:

CSV文件是文本型文件(非二进制)

文件中的一行在Excel中显示的一行

同一行中的数据用半角逗号分隔

发现以上的规律,我们可以自己也生成一个CSV文件。也可以简单的分析CSV文件。

现在给CSV文件的生成和分析写个简单的例子。(如果对文件处理类不熟悉,可以看一下java的文件处理,或者看一下JDK中关于类的帮助信息)

生成CSV文件。()

package ;

import Writer;

import ception;

/**

* @author SinNeR

*

* create a CSV file

*/

public class HelloCsvCreater {

public static void main(String[] args) {

try {

FileWriter fw = new FileWriter("C:");

e("aaa,bbb,ccc,ddd,eee,fff,ggg,hhhrn");

e("aa1,bb1,cc1,dd1,ee1,ff1,gg1,hh1rn");

e("aaarn");

e("aa2,bb2,cc2,dd2,ee2,ff2,gg2,hh2rn");

e();

} catch (IOException e) {

tStackTrace();

}

}

}

这个类编译后运行,可以看到在C盘根目录下生成了一个名字为的CSV文件,双击打开,如下的样子。

分析CSV文件

package ;

import eredReader;

import InputStream;

import ception;

import tStreamReader;

/**

* @author SinNeR

*

* analysis a CSV file

*/

public class HelloCSVAnalysis {

public static void main(String[] args) {

InputStreamReader fr = null;

BufferedReader br = null;

try {

fr = new InputStreamReader(new FileInputStream(

"C:"));

br = new BufferedReader(fr);

String rec = null;

String[] argsArr = null;

while ((rec = Line()) != null) {

tln(rec);

argsArr = t(",");

for (int i = 0; i < th; i++) {

tln("num " + (i + 1) + ":" + argsArr[i]);

}

}

} catch (IOException e) {

tStackTrace();

}finally{

try{

if ( fr != null )

e();

if ( br != null )

e();

}catch(IOException ex){

tStackTrace();

}

}

}

}

这里将刚才生成的csv文件读取并分析。编译后运行,正常情况下,可以看到刚才生成的CSV文件的内容。

至此,CSV文件的生成与分析其实已经完成。如果要写适合自己需要的CSV文件分析类,完全可以根据自己的业务逻辑和需要来自己实现。因为CSV文件的分析确实很简单。

不过上面的程序还是存在一些问题的。这些问题在开发的过程中应当注意,不然可能出现致命的错误。

比较2个类中对资源的释放问题。CSV生成类中FileWriter对象的关闭(close()方法)是在try中执行的。而CSV分析类中InputStreamReader,BufferedReader对象的关闭(close()方法)是在finally中执行的。CSV生成类是错误的。因为在文件和流的生成过程中,是有可能产生IO异常的,如果在对象close前发生IO异常,那么close方法永远不会被调用,这样资源不会及时释放,会产生致命错误的。而在finally中的程序,是一定会被执行的语句,所以即使操作中途发生问题,也会在最后执行close方法。(try-catch-finally是java语法中基本而重要的部分,不熟悉的可查阅相关资料。)

在CSV文件的操作过程中,我们是按照半角逗号来分隔数据的,如果某个数据中正好有半角逗号,那么数据不是出错了?

如果分析的数据有全角字符,是否能够正确分析。(乱码问题)

以上的第二个问题时必须考虑的。在写一个类的时候,不要相信这个类要操作的数据或者得到的数据是好数据(完全符合要求的正确的数据),写好的一个类用完全正确的数据测试完,很有可能一个小小的数据错误的问题,就有可能导致程序处理崩溃。所以,细节问题要充分考虑并对应到,使自己编写的类具有一定的健壮性。

对于2的问题的讨论:

如果我们用Excel文件生成CSV文件,其中数据有半角逗号,Excel会怎么处理呢?试一下,可以看到类似如下的数据。

aaa,bbb,ccc,ddd

aaa2,bbb2,,ddd2

aaa3,bbb3,ccc3,

aaa4,"bb,b4",ccc4,ddd4

bb,b4被用双引号包围了,这样,我们自己在生成CSV文件的时候,可以模仿EXCEL的操作,把所有的数据都用双引号包围。这时候又出现一个问题,如果数据中有双引号,会怎么样?再次尝试一下。这次输入的数据是bb,b"4",结果是:

aaa,bbb,ccc,ddd

aaa2,bbb2,,ddd2

aaa3,bbb3,ccc3,

aaa4,"bb,b""4""",ccc4,ddd4

双引号被用2个双引号替换了。Excel是这么处理的,我们在生成Excel文件的时候可以模仿处理。这样分析数据的时候,就要有一个严格的算法来进行分析。

由于做的这个类是给web开发用的,我们可以考虑用web常用的转意,将"这个字符转换成"来避免这样的冲突,这样处理的好处是分析字符串的时候,处理简单化了。但是这又引发了别的问题,就是如果数据中原来就有"这样的字符,在将"反转义为"的时候,容易把这些原有的字符也转化了。所以&符号也需要转义。

现在将2个方法折衷,即CSV数据以半角逗号分隔,以"包围。数据中的&,"符号进行转义。

这样的'处理,将分析数据的算法难度降低,同时也解决了数据中含有半角逗号,引号的问题。

经过以上的分析,我们可以写CSV生成分析文件的类了。

首先,写出简单的转意静态方法。

public static String CSVEncode(String in){

if ( in == null )

return "";

aceAll("&","&");

aceAll(""",""");

return in;

}

public static String CSVDecode(String in){

if ( in == null )

return "";

aceAll(""",""");

aceAll("&","&");

return in;

}

CSV文件生成类:

package ;

import OutputStream;

import ception;

import Cla;

/**

* @author SinNeR

*

*

* CSVCreater

*/

public class CSVCreater {

private FileOutputStream fos = null;

private StringBuffer sb = null;

private boolean convertFlag = false;

public static final String DEL_CHAR = ",";

public static final String AV_CHAR = """;

public CSVCreater(String arg) throws IOException {

fos = new FileOutputStream(arg, false);

sb = new StringBuffer();

}

public void setData(String data) {

if (convertFlag)

data = ncode(data);

nd(AV_CHAR);

nd(data);

nd(AV_CHAR);

nd(DEL_CHAR);

}

public void setConvertFlag(boolean b) {

convertFlag = b;

}

public void writeLine() {

if (At(th() - 1) == ',')

te(th() - 1, th());

nd("rn");

}

public void writeDataByLine(String[] args) {

for (int i = 0; i < th; i++)

setData(args[i]);

writeLine();

}

public void close() throws IOException {

try {

e(ring()ytes());

} catch (IOException e) {

throw e;

} finally {

e();

}

}

public static void main(String[] args) {

try {

CSVCreater csvCre = new CSVCreater("C:test.csv");

csvCre.setConvertFlag(true);

ata("aaa");

ata("aa,a");

eLine();

ata("aa"a");

ata("aa,a");

ata("aa,a");

eLine();

ata("aa"a");

ata("aa,"a");

ata("aa,"a");

ata("aa,"a");

ata("aa,"a");

eLine();

e();

} catch (IOException e) {

tStackTrace();

}

}

}

CSV文件分析类:

package ;

import eredReader;

import InputStream;

import ception;

import tStreamReader;

import yList;

import Cla;

/**

* @author SinNeR

*

*

* CSVAnalysis

*/

public class CSVAnalysis {

private InputStreamReader fr = null;

private boolean convertFlag = false;

private ArrayList dataContainer = new ArrayList();

public static final String DEL_CHAR = ",";

public static final String AV_CHAR = """;

public CSVAnalysis(String f) throws IOException {

fr = new InputStreamReader(new FileInputStream(f));

}

public void setConvertFlag(boolean b) {

convertFlag = b;

}

public ArrayList analysis() throws IOException {

BufferedReader br = new BufferedReader(fr);

String rec = null;

try {

while ((rec = Line()) != null) {

ArrayList alLine = analysisLine(rec);

(alLine);

}

} catch (IOException e) {

throw e;

} finally {

e();

}

return dataContainer;

}

private ArrayList analysisLine(String strLine) {

tln(strLine);

ArrayList al = new ArrayList();

String[] dataArr = t(AV_CHAR);

for (int i = 1; i < th; i = i + 2) {

if (convertFlag)

(ecode(dataArr[i]));

else

(dataArr[i]);

}

return al;

}

public void close() throws IOException {

e();

}

public static void main(String[] args) {

try {

CSVAnalysis csvAna = new CSVAnalysis("C:test.csv");

csvAna.setConvertFlag(true);

ArrayList al = ysis();

for (int i = 0; i < (); i++) {

ArrayList al1 = (ArrayList) (i);

for (int j = 0; j < (); j++) {

tln((j));

}

}

e();

} catch (IOException e) {

tStackTrace();

}

}

}

写好这些类之后,就可以开始着手测试了。

写一个测试CSV文件生成的jsp文件。如:

create a csv file

写一个测试CSV文件分析的jsp文件。如:

analysis a csv file

将编译后的class拷贝到TOMCAT自己的应用的WEB-INF下。将jsp文件放到自己的应用下。

然后启动TOMCAT,访问jsp文件,当访问的时候,正常情况下可以看到C盘根目录下生成了一个文件。然后访问文件,可以看到分析后的数据被打印出来。

至此,csv生成,分析类做成。

使用帮助:

类,用来生成CSV文件的类。

构造函数public CSVCreater(String arg) throws IOException

参数:arg 要生成的csv文件的绝对路径

使用例CSVCreater csvCre = new CSVCreater("C:");

public void setConvertFlag(boolean b)

是否转义设定函数(将半角双引号进行转义处理)

参数:true 需要转义(推荐) false 不转义

public void setData(String data)

添加单个数据的函数

public void writeLine()

结束换行函数

public void writeDataByLine(String[] args)

将一个数组的元素添加到一行并换行函数

public void close() throws IOException

必须调用的函数,写入文件并关闭文件处理的对象。

例子可参考jsp文件中的代码,但是jsp文件中的close()方法是在try块中执行的,不推荐,使用的时候还是在finally块中执行要安全一些。

这个类涉及到了文件的操作,有可能出现IOException,出现异常的时候会抛出给使用者。

构造函数 public CSVAnalysis(String f) throws IOException

参数是要分析的文件的绝对路径。

public ArrayList analysis() throws IOException

分析流处理的方法,返回ArrayList对象。返回的ArrayList的数据格式

ArrayList中存放着ArrayList对象,存放的每个ArrayList对象对应csv文件的一行。

一行对应的ArrayList中存放着String对象,为该行中所有的数据。

public void close() throws IOException

必须调用的函数,关闭文件处理的对象。

同样,这个方法应在finally块中执行要安全一些。

计算机一级
计算机二级
计算机三级
计算机四级
C语言
java语言
php语言
网络技术