Joeman呼草事件 - 三立新聞總整

三立又又又發威啦！
這次砲火全開，用三天的時間就達到了 150 篇新聞！

大部分新聞根本沒有標註作者是誰。
作為閱讀者，也無法了解是哪位記者所撰的文章。
是有多麼羞恥，而不敢將自己的大名寫上？

程式碼開源

const request = require('request');
const cheerio = require('cheerio');

let url = 'https://www.setn.com/Klist.aspx?ProjectID=10256&p='
let page = 1
let end_page = 6
let number = 1

request_data()


async function request_data(){
    console.log('| 序列 | 新聞標題 | 新聞作者 | 新聞連結 | 報導時間 | ' )
    console.log('|  ----  | ----  | ---- | ---- | ---- |')
    for(i=page ; i<=end_page ; i++){
        let uurl = url + i
        request_news(uurl)
       
    }
        
    console.log(`======= ${number} =======`)


}

async function request_news(url){

    request(url, async  function( error, response, body) {
        if(!error){
            let $ = cheerio.load(body);
            let data = $(".col-lg-4");
            data.each ( async function( index, value) {
                
                let $ = cheerio.load(value);

                let link = $(".gt");
                let data = $('.newsimg-area-text-2 ')
                let date = $('.newsimg-date')
                let url = `https://www.setn.com/${link.attr('href')}`

                let author = await request_news_author(url)                
                console.log(`| ${number} | ${data.text()} | ${author} | [連結點我](${url}) | ${date.text()} | `)
                number++
                

            })
            return null
        }else throw new Error(error);
    })
    
}

async function request_news_author(url) {
    //console.log(`received url: ${url}`)
    return new Promise((resolve, reject) => {
        request(url, function (error, response, body) {
            if (!error) {
                let $ = cheerio.load(body);
                let data = $("#Content1");
                let author = data.find('p').html().split('／')[1];
                //console.log(author);
                resolve(author);
            } else {
                reject(error);
            }
        });
    });
}

後記

過程中忘記把數值調低，所以有把三立的網站爬到掛掉一段時間，
雖然不想對這麼無恥的媒體致歉，但依然致歉。