PythonのライブラリでHTMLのスクレイピングをしてみる
Beautiful SoupBeautiful Soupとは覚えやすいシンプルなAPIが特徴のスクレイピングライブラリです。公式fromurllib.parseimporturljoinfrombs4importBeautifulSoup#HTMLファイルを読み込む withopen('htmlファイル')asf:soup=BeautifulSoup(f,'html.parser')#...
View ArticlePythonでRSSのスクレイピングする
lxml.etreeモジュールを使う公式importlxml.etree#ファイルを読み込む tree=lxml.etree.parse('rss2.xml')#getroot()メソッドでXMLのルート要素い対応する root=tree.getroot()#xpath()メソッドでXPathにマッチする要素をリストを取得...
View ArticleClik here to view.
クラウド・インフラ技術を学んでいくためにAWSを始めてみた（その１：ＶＰＣ設定編）
はじめに インフラ・クラウド関連の勉強を兼ねてAWSを使ってみたのでまとめます。下記、udemyのレッスンを元に作りました。 私が所属する会社は製造業ですが、所謂歴史ある昔からの企業でもある影響か漏れなくオンプレミス(いわゆる自社サーバー）です。クラウド型の良さを実感することが目標です。AWS：ゼロから実践するAmazon Web...
View ArticleClik here to view.
Pythonでクローラーを開発するときに気をつけること
クローラーの特性状態を持つクローラーHTTPはステートレスに設計されたプロトコルです状態を持ちたい時は、Cookieを使います。必ずしも、クローラー作成で、Cookieの送受信を実装する必要もない。RequestライブラリのSessionオブジェクトを使う。また、Refererでも状態を表すことができる。ログインの実装などに使う。JavaScriptを解釈するクローラーSPAなどは、HTMLにコンテ...
View Articlerailsのmigration状態を確認する
migrationを確認するあれ今マイグレーションはどのバージョンまでできてるんだ...?わかんなくなっちゃった。って時は$rake db:migrate:status Status Migration ID Migration Name -------------------------------------------------- up 20200530221315 Create staff...
View ArticleClik here to view.
PythonでHTTPキャッシュを使う
クローラー作成の時には、繰り返しの実行を念頭におくと思います。そこで、クローラー先にサイトのキャッシュが気になります。キャッシュがかかった状態で再度、実行しても同じページをみていて取得できるデータが同じです。今回は、PythonにおけるHTTPキャッシュについてまとめたいと思います。HTTPキャッシュHTTPキャッシュは、RFC7234で定められている。...
View ArticleAtCoderでRuby学習12 標準出力の使い分け（p/puts/print）
はじめにRubyおよびアルゴリズムの学習の一環として競技プログラミングに参加しています。ここでは、学習の中で学んだことをアウトプットしていきます。今回は標準出力について。これまでなんとなくでprintをメインに使ってきましたが、さすがに区別は出来ていた方がいいだろうと思ったのでまとめておきます。単純にまとめるとpメソッド・ オブジェクトの型を反映した出力（文字列型は"...
View Article【初心者】railsのアソシエーションを利用したカラムの表示でハマった話
テーブルの構成groupsテーブルmessagesテーブルアソシエーションgroups : has_many :messagesmessages : belongs_to...
View Article[React]superのpropsとは何か。
super (props)のprops とは何ぞやリアクトのコンポーネントを作成する時、いつもclassHelloextendsReact.Component{constructor(props){super(props)//...
View ArticlePython初心者の為のエラーとの戦い方
はじめに 書籍を使って独学でプログラミングを学び始めた際、エラー処理に苦しみ挫折しかけました。 何が分からないのか、分からない状態に陥り少しトラウマだったりします笑 なので、当時の自分への供養も兼ねて同じような初学者の力になるため記事にしました。 対象 ・プログラミング経験,知識がほぼないという方 ・まだ専門用語がよくわからない方 ・言われた通りに記述してるのになんで動かねぇんだ！という方...
View ArticleVundleでvimプラグインの管理を始めた
何かとvimでコーディングをする機会が増えてきたので、効率化のためにもvimの設定ファイル作成＆プラグイン導入をしようと思いました。プラグイン導入にあたり、どうせなら管理ツールも使おうということでVundleも入れました。今回はvimの設定ファイル（vimrc）の作成からプラグイン導入までの作業記録になります。使うものはこちら↓vimgitvimrcvimrcはvimを使いやすくするために自分で作成...
View ArticleClik here to view.
【Vue】チェックボックスを選択してもONのまま留める方法
はじめにわかってしまえば簡単なことなのだが、当時は解決に時間を要したので備忘録として残します。やりたきことこんな感じのテーブルにてチェックボックスをOFFにした際、確認ダイアログを表示する。OKならそのままチェックボックスはOFFに、キャンセルならチェックボックスはONのままに留めたい。詰まったこと確認ダイアログでキャンセルを選択してもチェックボックスがOFFになってしまう。キャンセルしてもOFFに...
View Article100日後にエンジニアになるキミ - 79日目 - プログラミング - 機械学習について3
昨日までのはこちら100日後にエンジニアになるキミ - 76日目 - プログラミング - 機械学習について100日後にエンジニアになるキミ - 70日目 - プログラミング - スクレイピングについて100日後にエンジニアになるキミ - 66日目 - プログラミング - 自然言語処理について100日後にエンジニアになるキミ - 63日目 - プログラミング -...
View ArticleClik here to view.
Pythonの仮想環境を作成してみる
仮想環境が必要な理由を理解して、実際に仮想環境を作成するPythonでWeb情報をスクレイピングして情報を解析してゴニョゴニョしたいなぁと思っています。それにあたり、まずは基本的な環境づくりについて書いていこうと思います。間違いがあったらご指摘いただけると助かります。では、参ります。仮想環境が必要なワケPythonには外部ライブラリが豊富に揃っているがゆえに、１つのバージョンアップにより今まで動いて...
View ArticleClik here to view.
Clik here to view.
Flutterの基本的なことをまとめる
はじめにFlutterの基本的なことをまとめていきます。FlutterとはFlutterとは、Googleが提供しているUIツールキットです。 iOSとAndroidの両方のプラットフォームを、１つのコードで作成出来るので非常に生産性が高いです。他の特徴として、以下のものが挙げられます。・Dart言語を使用している。 ・アプリを一瞬でリロードできる。(ホットリロード)...
View ArticleClik here to view.
【Xcode】背景画像をダークモードに対応させる
背景画像を変更したい！iOS13からダークモードが搭載されましたね！今更ですが、背景画像をダークモードと通常モード（ライトモード）で変更させてみました。１.まずはImage Viewを配置Image Viewを配置して、各Contstrainsを設定します。※...
View Article韻を扱いたいpart8（一旦終了）
内容前回の修正と活用法、カウント表現を行ってみる。母音の並びを単語に見立てる部分で重複があったため、重複がないように修正する。その後は前回同様テキスト中の文章をバイナリ表現で表し、コサイン類似度の高いものを表示しようと思う。カウント表現についても同様に行ってみる。修正点frompykakasiimportkakasiimportreimportnumpyasnpimportpandasaspdimp...
View Article