青春時代に狂い聴いていたけど今は聴かなくなったGReeeenの歌詞を可視化してみた。

importrequestsfrombs4importBeautifulSoupimportpandasaspdimporttime#スクレイピングしたデータを入れる表を作成
list_df=pd.DataFrame(columns=['歌詞'])forpageinrange(1,3):#曲ページ先頭アドレス
base_url='https://www.uta-net.com'#歌詞一覧ページ
url='https://www.uta-net.com/artist/5384/'+str(page)+'/'response=requests.get(url)soup=BeautifulSoup(response.text,'lxml')links=soup.find_all('td',class_='side td1')forlinkinlinks:a=base_url+(link.a.get('href'))#歌詞詳細ページ
response=requests.get(a)soup=BeautifulSoup(response.text,'lxml')song_lyrics=soup.find('div',itemprop='lyrics')song_lyric=song_lyrics.textsong_lyric=song_lyric.replace('\n','')#サーバーに負荷を与えないため1秒待機
time.sleep(1)#取得した歌詞を表に追加
tmp_se=pd.DataFrame([song_lyric],index=list_df.columns).Tlist_df=list_df.append(tmp_se)print(list_df)#csv保存
list_df.to_csv('/Users/ユーザー名/greeeen/list.csv',mode='a',encoding='cp932')

fromjanome.tokenizerimportTokenizerimportpandasaspdimportre#list.csvファイルを読み込み
df_file=pd.read_csv('/Users/ユーザー名/greeeen/list.csv',encoding='cp932')song_lyrics=df_file['歌詞'].tolist()t=Tokenizer()results=[]forsinsong_lyrics:tokens=t.tokenize(s)r=[]fortokintokens:iftok.base_form=='*':word=tok.surfaceelse:word=tok.base_formps=tok.part_of_speechhinshi=ps.split(',')[0]ifhinshiin['名詞','形容詞','動詞','副詞']:r.append(word)rl=(' '.join(r)).strip()results.append(rl)#余計な文字コードの置き換え
result=[i.replace('\u3000','')foriinresults]print(result)text_file='/Users/ユーザー名/greeeen/wakati_list.txt'withopen(text_file,'w',encoding='utf-8')asfp:fp.write("\n".join(result))

fromwordcloudimportWordCloudtext_file=open('/Users/ユーザー名/greeeen/wakati_list.txt',encoding='utf-8')text=text_file.read()#日本語のフォントパス
fpath='/System/Library/Fonts/ヒラギノ明朝 ProN.ttc'#無意味そうな単語除去
stop_words=['そう','ない','いる','する','まま','よう','てる','なる','こと','もう','いい','ある','ゆく','れる']wordcloud=WordCloud(background_color='white',font_path=fpath,width=800,height=600,stopwords=set(stop_words)).generate(text)#画像はwordcloud.pyファイルと同じディレクトリにpng保存
wordcloud.to_file('./wordcloud.png')