第二章：永續資料蒐集之路

# 第二章：永續資料蒐集之路 在永續發展的每一步，資料都是最先進的「能源」。 本章將聚焦於**資料蒐集**，從開放數據到物聯網（IoT），再到資料治理，呈現一條完整且可持續的資料採集流程。 ## 1. 為何資料蒐集是永續策略的起點 | 觀點 | 永續價值 | 典型應用 | |------|----------|----------| | **透明度** | 讓決策者可視化碳足跡與資源使用 | 企業碳排放報告 | | **可重複性** | 確保研究與政策能被其他城市複製 | 水資源管理模型 | | **即時性** | 讓政策快速迭代 | 交通即時流量分析 | ### 小結 永續目標（如 SDG 12 循環經濟、SDG 13 氣候行動）離不開 **可靠、可追溯、可再利用** 的資料基礎。 ## 2. 資料來源分類 ### 2.1 開放資料（Open Data） - **政府數據**：環境保護署、交通部、能源局等。 - **學術資料庫**：公開的研究結果、實驗數據。 - **社群協作平台**：Kaggle、GitHub、data.world 等。 > **注意**：開放資料通常包含「使用授權」欄位，務必確認是否允許商業用途，或需署名。 ### 2.2 商業與企業報告 - 企業 ESG 報告、永續發展報告。 - 供應鏈資料：原料來源、物流排放。 ### 2.3 感測器與物聯網（IoT） - **智慧感測器**：空氣品質、能耗、噪音。 - **嵌入式裝置**：太陽能板、風力發電機、廢棄物分類機。 - **傳統感測器**：水位、土壤濕度、氣象站。 ### 2.4 網路抓取（Web Scraping）與 API - **公開 API**：氣象局、能源局、社交媒體（Twitter）等。 - **自動化抓取**：爬蟲工具（BeautifulSoup、Scrapy）抓取新聞、報告。 ## 3. 資料收集架構設計 ### 3.1 資料管道（Data Pipeline） | 步驟 | 目的 | 技術選型 | |------|------|----------| | **採集** | 取得原始資料 | RESTful API、WebSocket、MQTT | | **緩存** | 減少重複請求 | Redis、Memcached | | **批次處理** | 資料聚合 | Apache Spark、Dataflow | | **即時處理** | 低延遲分析 | Flink、Kafka Streams | | **儲存** | 原始與處理後資料 | Snowflake、Amazon Redshift、MongoDB | ### 3.2 元資料與資料治理 - **資料目錄**：Metabase、DataHub，提供資料搜尋、標註。 - **版次控制**：Delta Lake、Iceberg，確保資料版本可追蹤。 - **隱私合規**：GDPR、CCPA、個資法的資料分級、刪除機制。 ## 4. 資料質量指標（Data Quality Indicators） | 指標 | 定義 | 目標值 | |------|------|--------| | **完整度** | 所有必要欄位都有值 | 95%+ | | **準確度** | 與實際測量值或外部參考值偏差 < 5% | 90%+ | | **一致性** | 同一資料來源在不同時間點格式一致 | 98% | | **即時性** | 資料延遲 < 5 分鐘 | 99% | | **可用性** | 允許 API 或 API 失敗率 < 1% | 99.5% | > **提示**：對於 IoT 資料，採用「事件溯源（Event Sourcing）」模式，可保留每一次狀態變化，便於追溯與回溯。 ## 5. 案例：綠色城市的資料蒐集體系 > **背景**：某市於 2023 年啟動「永續智慧城市計畫」。 > **目標**：透過資料蒐集，精準掌握城市能源使用、廢棄物流動與交通運動。 | 階段 | 方法 | 成果 | |------|------|------| | **資料庫建立** | 以 Azure Data Lake 儲存原始感測器數據 | 100TB 原始資料 | | **API 集成** | 與市府開放 API 串接環境數據、氣象數據 | 每日 10M 事件 | | **實時監控** | 使用 Grafana + Prometheus 建立能耗與空氣品質儀表板 | 能耗下降 12% | | **資料治理** | 實施 Data Catalog 及 GDPR 合規流程 | 100% 合規率 | > **啟示**：成功關鍵在於「資料管道的自動化」與「跨部門共用資料目錄」。 ## 6. 永續資料蒐集的挑戰與對策 1. **資料碎片化** – 需要統一資料標準與元資料。 2. **隱私與安全** – 依照法規實施匿名化、差分隱私技術。 3. **成本與資源** – 采用雲端即服務 (IaaS/PaaS) 以降低硬體投入。 4. **人員能力** – 建立跨領域團隊，從資料工程師到永續專家共同協作。 ## 7. 小結 永續資料蒐集不僅是技術層面的「抓取與儲存」，更是一場關於**治理、透明與合作**的組織革命。下一章，我們將進一步探討如何將這些原始資料進行**清洗與標準化**，為後續的模型建構與決策支持奠定堅實基礎。