彩票走势图

从哪里可以免费、低成本获得靠谱的数据?

转帖|使用教程|编辑:我只采一朵|2017-07-03 15:58:21.000|阅读 117 次

概述:分析社会、行业都都需要数据。在这里我简单总结一下我用过的方法。

# 慧都年终大促·界面/图表报表/文档/IDE等千款热门软控件火热促销中 >>

大数据

作者:Yiqin Fu

分析社会、行业都都需要数据。在这里我简单总结一下我用过的方法。方法肯定不全,也不一定适用于所有领域,欢迎大家批评与补充。

注:下面说的“数据”指的是描述社会活动的原始数据,来自大范围统计和调查,不包括分析类数据(例如市场规模估算、行业增长预计等)。

获取数据的方法我分为三类:网上下载、电话索取、自己生产。

网上下载

  • 搜索引擎搜索
    1. 不管是中国还是外国数据,都推荐使用 Google 搜索,推荐用你会的所有语言各搜一次,结果页面多翻几页,可能会有意想不到的效果
    2. 一般搜到的都是政府或国际组织网站(例如国家旅游局、世界银行),这类数据的好处是来源可靠、一键下载,坏处是通常只有综合数据(不会细分到地区、个人,不会细分到每月、每天),很多还缺历史数据(只有当天、当月数据)
    3. 如果搜到的是论坛里的帖子,请一定核实数据来源,否则很容易以讹传讹;需要论坛币的资源先别急着买论坛币下载,很多其实都可以通过下面提到的方法拿到
    4. 如果搜到的是媒体报道或转载,请一定核实数据来源;媒体水平参差不齐,中文媒体很多不标注数据来源,使用的时候要特别小心
  • 政府网站数据库
    1. 很多政府网站都有数据库,收录比较详细的数据(细分到地区、过去十年数据等);数据库本身的展示方式决定了它们通常不容易直接搜到,需要你去网站自己查阅
    2. 统计部门的网站上没有,可以试试其他部门网站(弄清政府各部门职能很重要);中央政府网站没有,可以试试地方网站(弄清行政区划很重要)
    3. 如果找到了你要的数据(例如统计年鉴)但无法直接下载,可以去图书馆借阅,也可以请你在大学或大公司的朋友帮忙借阅;年鉴通常有电子版(光盘),只是格式通常不是你想要的,需要后期清洗
  • 国内外由政府、学术机构主导的调查
    1. 搜索“中国 家庭 收入 调查”几个关键词,就可以搜到相关调查;注意看组织方是谁——靠谱的调查通常由科研人员主导,方法公开且相对规范
    2. 在收入、教育、健康、价值观等各领域,国际组织和各国大学都会做长期调查,方法全球统一,方便跨国、跨时间比较
    3. 此类数据可能会提供免费的线上阅览版,对做 PPT 来说这些数据通常够用;如果需要原始数据,调查方可能需要核实你的身份及研究目的,整个核实过程短则一天长则一个月
  • 私人机构调查(“基金会”、“民调中心”、“大数据公司”)
    1. 私人机构在诚信、专业水平上良莠不齐,需要谨慎鉴别;如果只是做 PPT 可能够用;做学术研究,需要确认调查方法是否科学、调查机构是否靠谱;至于去哪里找靠谱的调查,一个捷径是多阅读文献,看知名作者引用过哪些
    2. 绝大多数私人机构都不会公开原始数据,所以一般能接触到的只有机构官方发布的报告、博客文章等
  • 学术期刊数据库
    1. 很多期刊现在都要求作者公开原始数据,方便重复论文结果。所以期刊网站有每篇论文的配套数据,包括论文作者清洗过的公开数据和作者自己做的调查、实验数据
    2. 此类数据只能按论文标题搜到,所以如果不读文献的话很难直接在搜索引擎上按关键字找到

电话索取

  • 网上找不到的资料,可以试试直接给数据来源方打电话;幸运的话,他们的资料可以直接公布在网上、私下发给你、现场让你阅览
  • 电话索取想要成功,关键在于你要绕过接线前台、直接找到管理数据的人;这个步骤的难易程度又取决于你和数据来源方的关系:
    1. 你可以给数据来源方提供好处
      1. 如果你是记者或生意伙伴(即可以给对方提供曝光、投资等好处),可以直接请前台转公关、商务负责人
      2. 如果以后经常需要对方的信息,最好能和某位公关、商务建立长期关系
    2. 数据来源方与你毫无关联
      1. 如果你想向业内公司打探行情但又无法提供任何好处,请一定要搞清楚公司内部结构,电话里客气地直接要求找负责该业务的人(最好是直接报上对方姓名或分机号),避免和前台纠缠太久
      2. 一定要准备好你的各类信息,例如联系方式、办公地址、老板姓名等,以便回答电话那头的问题;如果是替雇主打电话,一定要向老板确认能否在电话里表明你的身份
      3. 电话那头如果无法现在给你答复,一定要在挂断前确认对方姓名及下次跟进的时间
      4. 常听人说“上班前、下班后打电话可以绕过前台直接找到老板”,在实践中我还没发现这样做有用,可能公司与公司不同吧
    3. 数据来源方应该提供数据,但并不理你
      1. 向政府机构索要数据,一定要找到分管统计的部门(网上找分机号或直接请前台转接)。如果找错部门,对方要么会说他们不管此事然后挂断,要么给你转分机再转分机,一天就这么过去了
      2. 除了找对人,还要做好打持久战的准备,预留足够时间。统计部门的电话接通后,你很可能得到以下答复:今天马上要下班了;政府在罢工;办公室唯一管这件事的同事现在在休假,下个月才能回来;你要的数据得请示领导同意,而领导在出差,也不知道什么时候回来;申请数据需要填写表格,政府确认你的申请需要一个月,答复需要三个月
      3. “你留个电话,有消息我们打给你”这类回复是永远不能相信的。你需要在电话里问清对方姓名,买一张无限通话的电话卡,过一段时间主动打过去,指名找他
  • 不管是打什么电话,成功主要靠厚脸皮和耐心。上午打不通就下午打;这次接电话的人不理你,过会儿打说不定是另一个人接;这家公司不行就换别家

自己生产

  • 在一些情况下,数据是可以自己生产的,通过抓取网页、调查、实验三种方法
    1. 抓取网页
      1. 什么情况下可以抓网页?如果我们需要的就是网络数据(电商商品价格、电影评分、社交媒体好友关系),又或者线上活动是很好的代理变量(量化一个不可观测的变量)
      2. 怎样抓取?如果是主流网站,搜索“网站名 抓取”或“网站名 爬虫”,把搜索结果的时间限定调成“一年以内”,就能找到一步一步的教学;如果是小众网页,可以看看网页结构然后搜索教学帖;现在也可以雇人写脚本,过程方便且价格可以接受
    2. 调查
      • 很多时候,调查其实并不需要那么多钱,尤其是网络调查。真正困难的地方在于调查设计。如果没有读过专业书籍或积累实战经验,第一次做调查很难保证设计得科学
    1. 实验
      • (社会科学)实验不一定需要很多钱。例如很多,只需要研究人员向大学、公司群发简历即可;很多研究政府的实验,只需要向议员写信即可;研究社交媒体的实验,只需要写程序来发帖即可
      • 虽然没有钱,但我们有很多时间。教授要付钱请人做的事,我们多花点时间、和其他钱少时间多的人合作,说不定也可以做出来
      • 如果你有技术但没有钱,可以和有资金的前辈合作,可以向政府或非政府机构提供免费咨询、分析,以换取数据。当然,这个方法还是很靠“关系”
      • “关系”如果真的够硬,可以让一国总统

“理想数据”与时间规划

设计研究方案的时候,要先从“理想状态”出发——问自己,能够回答我研究问题的“最理想的数据”长什么样?是个人、家庭、公司、省还是国家层面的数据,有哪些变量,是哪个时间段的……

只有想明白理想数据长什么样,才可以开始搜索、采集。因为这样你可以最快找到近似理想的数据,也可以最快发现找到的数据有哪些局限、对你研究最后得到的结论有哪些影响。

时间规划方面,一定要给数据搜集预留充分的时间。很多时候你可能计划用一周搜集数据,另一周分析。你以为你要的数据网上肯定有,几秒钟就可以下载完,给一周时间绰绰有余。

然而事实上,很多数据根本不存在(电脑普及之前的资料很多地方都没有保存);如果有,对方也不一定会给你;对方给了你,也一定不是你拿到手就可以立刻分析的格式。所以时间规划上一定不要盲目乐观。通常一个项目,70% 甚至 90% 的时间都花在“准备工作”上。

 

本文转载自:36大数据


标签:

本站文章除注明转载外,均为本站原创或翻译。欢迎任何形式的转载,但请务必注明出处、不得修改原文相关链接,如果存在内容上的异议请邮件反馈至chenjj@pclwef.cn


为你推荐

  • 推荐视频
  • 推荐活动
  • 推荐产品
  • 推荐文章
  • 慧都慧问
扫码咨询


添加微信 立即咨询

电话咨询

客服热线
023-68661681

TOP