回答

收藏

SQLite或纯文本文件?

技术问答 技术问答 276 人阅读 | 0 人回复 | 2023-09-14

我处理了许多在Python,R以及有时在Matlab之间交换的文本/数据。
+ D0 K& v+ ^7 w% g我要去的是纯文本文件,但偶尔也使用SQLite来存储数据和从每个程序进行访问(虽然还不是Matlab)。我不像在R中那样在SQL中使用GROUPBY,AVG等,因此我不一定需要数据库操作。
3 Q8 ?( f/ ]8 {0 a$ c对于此类需要在程序之间交换数据以使用每种语言的可用库的应用程序,是否存在使用哪种数据交换格式/方法(甚至XML,NetCDF或HDF5)的良好经验法则?0 Z' T" D7 f  x
我知道在Python之间-> R存在rpy或rpy2,但我想从更一般的意义上考虑这个问题-
1 L; o: f( v0 d" v我使用了许多都没有rpy2的计算机,并且还使用了其他一些需要访问的科学分析软件在不同时间处理数据(处理和分析的阶段也分开)。
, p0 P  N& \; M0 [3 p. {               
4 P$ n! i0 }  ~0 }5 d5 `2 {解决方案:
, ~. f4 t# V& n4 l( T               
  W7 c6 F" R) ?7 ?# I( m% j2 D* Z: e# K

6 J$ G' N  b3 ?                如果所有语言都支持SQLite-5 e% G. X6 Z  M6 R2 ^
请使用它。SQL的功能现在可能对您没有用,但是它可能会在某个时候使用,它可以节省您以后决定要以更复杂的方式查询数据时必须重写的内容。
! Y7 Y7 [: i) x  z如果您只想访问数据存储中的某些数据位,则SQLite可能也将大大提高速度-因为使用纯文本文件来执行此操作具有挑战性,而又无法读取整个文件(尽管并非不可能)。
分享到:
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则