stock, trading, monitor

python爬蟲2020常見問題總整理

1.遇到中文字變成亂碼

.encoding = “UTF-8” 或是 “big-5”

2.如何存檔

f = open(xxx.html,”w”) #開啟一個檔案

f.write(res.text) 寫入文字檔
f.close() #關閉

3.一串文字要轉成dataframe

方法一:dfs = pd.read_html(xxx.html) #給變數,讀檔

方法二:

from io import stringIO

dfs = pd.read_html(stringIO(xxx.html)) #stringIO是檔案的意思,但不是真的有一個檔案,而是存在記憶體當中

4.同時改掉一樣的東西

xxx.replace(‘=’,”)

5.轉成不同型態

astype

6.快速寫function

apply(lambda s: s.str.replace(‘=’,”))

7.設定當作index的欄位

.set_index()

8.存成csv檔

df.to_csv(‘filename.csv’,”utf_8_sig”)

9.存檔時指定位置

因為你不能確定要/或\,可以直接用os.path.join(),他會將前後數值根據系統串起來