查看“原始数据”的源代码

并不是所有的原始数据都能成为信息，数据成为信息还要经过筛选、组织然后按照一定的格式进行整理才能成为信息。比如，超市里的POS机每天都会收集到大量的原始数据，但是，如果不经过处理，这些数据并不能产生什么信息。经过处理之后的超市数据可以显示出很多情况，比如客户喜欢购买什么东西，客户通常逛超市的时间以及他们购买物品的价格范围等等，这就是信息。这种信息可以用于预测技术，进而制定商业计划，最终赢得市场。



　　经过处理之后，原始数据会生成一个[[数据库]]，数据库中的信息可以用来进一步的处理，经过分析之后，可以用于多种用途。 


'''源数据抽取优化的问题'''



运行完session后，查看log，发现源数据读取的吞吐量仅为几百条左右，察看详细的session log发现，整个[[etl]]过程瓶颈在于源数据的读取，如果在TOAD中直接运行数据源的[[sql]]查询发回所有记录只需4秒钟左右，这是怎么回事?可不可以优化？


SESSION LOG:***** RUN INFO FOR TGT LOAD ORDER GROUP 【2】, SRC PIPELINE 【1】 *****MASTER PETL_24018 [[Thread]] 【READER_2_1_1】 created for the read stage of partition point 【SQ_BOM】 has completed: Total Run Time = 【195.091525】 secs, Total Idle Time = 【0.000000】 secs, Busy Percentage = 【100.000000】.



MASTER PETL_24019 Thread 【TRANSF_2_1_1_1】 created for the transformation stage of partition point 【SQ_BOM】 has completed: Total Run Time = 【193.616721】 secs, Total Idle Time = 【180.455230】 secs, Busy Percentage = 【6.797704】.


MASTER PETL_24022 Thread 【WRITER_2_1_1】 created for the write stage of partition point(s) 【BOM】 has completed: Total Run Time = 【135.793892】 secs, Total Idle Time = 【135.682443】 secs, Busy Percentage = 【0.082072】.







[[Category:技術理論]]