Mathematica 导出科学计数法数据

发表于 更新于

Mathematica 导出数据总是遇到很多坑，总结一下。

个人日常喜欢导出 .csv 格式的文件，即数值用逗号分隔。

常用方法: Export 函数

在 mathemtica 中，最常用的导出函数莫过于 Export。试举一例

先来创建一组数据

1
data = Table[{a, 10^-7 a}, {a, 1., 10, 1}]

输出

1
2
3
{{1., 1.*10^-7}, {2., 2.*10^-7}, {3., 3.*10^-7}, {4., 4.*10^-7}, {5., 
  5.*10^-7}, {6., 6.*10^-7}, {7., 7.*10^-7}, {8., 8.*10^-7}, {9., 
  9.*10^-7}, {10., 1.*10^-6}}

使用 Export 函数导出

1
2
SetDirectory[NotebookDirectory[]];
Export["test.csv", data];

test.csv文件内容

1
2
3
4
5
6
7
8
9
10
1.,1.e-7
2.,2.e-7
3.,3.e-7
4.,4.e-7
5.,5.e-7
6.,6.e-7
7.,7.e-7
8.,8.e-7
9.,9.e-7
10.,1.e-6

到目前为止都没什么问题，Export 函数能够自动转换 8.e-7 这类科学计数法表示的数据。

挖坑

使用 Export 可以直接导出一个变量，那么在必须要迭代的程序中（并且不知道迭代次数），如何把结果累积在一个变量中呢？跟很多程序语言类似，Append 或者 AppendTo 可以追加内容到一个列表中。这个函数众所周知的问题，就是在数据量太大的时候异常卡慢。我们可以比较一下。

定义一个测试函数，输出不同迭代次数下，使用 AppendTo 追加，以及最终导出数据所需时间

1
2
3
4
5
testfunc[num_] := 
 Block[{data = {}, i, time}, i = 1; 
  AbsoluteTiming[
    Do[list = {i, 10.^-7 i}; AppendTo[data, list]; i++, num];
    Export["test.csv", data];][[1]]]

观察一下不同迭代次数下的需要耗费的时间

1
2
3
SetDirectory[NotebookDirectory[]];
data = Table[{n, testfunc[n]}, {n, 10000, 100000, 10000}];
ListLinePlot[data]

从计算时间上可以看到，耗费时间与迭代次数并非线性增加，因此再操作大型数组的术后 AppendTo 就退下吧。

看到这里好像有点跑题？其实这里主要是想说明：通过 AppendTo 追加数组，最终再使用 Export 自动输出科学计数法的数值的方案不可行。另外，PutAppend 函数也类似，不适用大型数组叠加输出。

填坑

这时候只能想原始一点的办法了，想来 Mathematica 应该会提供类似 c++ 文件流的方式，查找一下帮助文档里面的方案：

1
2
3
4
str = OpenWrite["test.csv"];
test = 1.2 10^-7;
WriteString[str, test];
Close[str];

但是这时候导出的结果只能用混乱来形容。。。

1
2
      -7
1.2 10

得想办法如何转换成想要的数值格式，在帮助文档 NumberFormat 函数中给出了一个例子，经过（交流群的混乱讨论），加工一下

1
2
test = 1.2 10^-7;
ScientificForm[test, 10, NumberFormat -> (Row[{#1, "e", #3}] &)]

但是注意 WriteString 接收的是字符串格式，加个 ToString 转换一下即可，另外在 1-10 范围内的应该不需要科学计数法表达，再混乱地整理一下，

1
2
3
4
Num2Str[num_] := 
  If[1 > =num || num > 10, 
   ScientificForm[num, 6, NumberFormat -> (Row[{#1, "e", #3}] &)] // 
     ToString // StringReplace[#, ".e" -> ".0e"] &, ToString@num];

废话有点多了。。。最终再来测试下速度

1
2
3
4
5
6
7
8
testfunc[num_] := 
 Block[{data = {}, i, time, str}, 
  AbsoluteTiming[str = OpenWrite["test.csv"]; i = 1; 
    Do[list = Num2Str /@ {i, 10.^-7 i}; 
     WriteString[str, list[[1]] <> "," <> list[[2]] <> "\n"]; i++, 
     num];
    Close[str];][[1]]
  ]
1
2
data = Table[{n, testfunc[n]}, {n, 10000, 100000, 10000}];
ListLinePlot[data]

时间明显减少很多，并且线性更强。对比一下 AppendTo 的结果，感动。

最终敲定，在 Mathematica 循环输出科学计数法数据

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
(*数值格式转换*)
Num2Str[num_] := 
  If[1 > =num || num > 10, 
   ScientificForm[num, 6, NumberFormat -> (Row[{#1, "e", #3}] &)] // 
     ToString // StringReplace[#, ".e" -> ".0e"] &, ToString@num];

(*文件流写入时间测试函数*)
testfunc[num_] := 
 Block[{data = {}, i, time, str}, 
  AbsoluteTiming[str = OpenWrite["test.csv"]; i = 1; 
    Do[list = Num2Str /@ {i, 10.^-7 i}; 
     WriteString[str, list[[1]] <> "," <> list[[2]] <> "\n"]; i++, 
     num];
    Close[str];][[1]]
  ]

(*性能测试*)
data = Table[{n, testfunc[n]}, {n, 10000, 100000, 10000}];
ListLinePlot[data]

群友提供的另外一种转换方式 ToString[1.23*^45, CForm]

懒得补图了，就酱🤣。