Pythonでデータ加工(スクレイピング編)

# python環境 import requests # file操作のため from bs4 import BeautifulSoup # htmlファイルをごっそりとってくる BeautifulSoupというライブラリを使うと、簡単にスクレイピングができるので、そのことについてメモ # encoding は取得したページの文字コードを選択 # htmlファイルは同じディレクトリ内にあるものとする filepath = "ファイル名.html" with open(filepath , encoding='utf-8') as f: html = f.read() soup = BeautifulSoup(html, 'html.parser') # htmlファイルの中身が出力される print(soup) soup変数に格納された文字列を加工することが以下のように簡単にできます。 /* h1タグを取ってくる */ soup.find_all('h1') # <h1>Hello World!</h1> # ↑こんな感じの出力が得られる # spanタグの中身だけを出力 for text_line in soup.find_all('span'): print(text_line.get_text())

.NET Framework3.5を有効化する時に、「エラー: 0x800f0954」でハマった

前提 2019年11月8日時点 会社用PC Windows 10 →多分セキュリティ的な何かで上手く行かなかったと思われる。 開発中のアプリケーションでIE7に対応して欲しいとのことだったので、 .NET Framework4.7から.NET Framework3.5へと移行する必要があった。 解決策 普通にGoogle検索しても解決できなかったが、 Qiitaで調べたら一発だった。 【参考】1803を適用後のWindows 10で.NET Framework 3.5を有効にする 上記のサイトで手順7まで進んだら、コントロールパネルから.NET Framework3.5を有効化する。 【参考】Windows 8、Windows 8.1、および Windows 10 への .NET Framework 3.5 のインストール

ディレクトリ 構成図を作る

Qiitaの記事とかによくある . ├── Desktop ├── Documents ├── Downloads ├── Library ├── Movies ├── Music ├── Pictures └── Public └── Drop\ Box 的なディレクトリ 構成図がtreeコマンドを打つだけで、表示できるみたいなので備忘録として。 MACの人はHomebrewでインストールできる 【参考】:こういうディレクトリの構成図、ツリー表示の簡単な書き方を今知った MacBook-Air:centos kouki$ brew install tree 〜省略〜 ==> Downloading https://homebrew.bintray.com/bottles/tree-1.8.0.catalina.bottle.tar.gz ######################################################################## 100.0% ==> Pouring tree-1.8.0.catalina.bottle.tar.gz 🍺 /usr/local/Cellar/tree/1.8.0: 8 files, 121.1KB ==> `brew cleanup` has not been run in 30 days, running…

kubernetes で ContainerCreating (FailedMount)

kubernetes で ContainerCreating (FailedMount) Podが起動しなかった問題 以下の記事にて解決 kubernetes で ContainerCreating (FailedMount) で Pod が起動しない時 Docker + Kubernetes で構築する Webアプリケーション 実践講座 上記の講座を受けている時に、mongodb Podが起動しないという問題発生。 変更を加えたマニフェストファイル apiVersion: v1 kind: PersistentVolume metadata: name: storage-volume namespace: default labels: app: weblog type: storage spec: storageClassName: slow capacity: storage: 1Gi accessModes: – ReadWriteMany hostPath: path: "/data/storage"

WordPressに記事を投稿した時に、”403 Forbidden”のエラーが出る

記事を投稿しようとした時に、今までは、普通に投稿できていたはずなのに、"403 forbidden"エラーに苦しんだので、備忘録を残しておきます。 結果として悪さをしていたのはおそらく以下のJSONが悪質なスクリプトだと判断されて、権限エラーになってしまったみたいです。 Client Version: version.Info{Major:"1", Minor:"13", GitVersion:"v1.13.4", GitCommit:"c27b913fddd1a6c480c229191a087698aa92f0b1", GitTreeState:"clean", BuildDate:"2019-02-28T13:37:52Z", GoVersion:"go1.11.5", Compiler:"gc", Platform:"linux/amd64"} Server Version: version.Info{Major:"1", Minor:"16", GitVersion:"v1.16.0", GitCommit:"2bd9643cee5b3b3a5ecbd3af49d09018f0773c77", GitTreeState:"clean", BuildDate:"2019-09-18T14:27:17Z", GoVersion:"go1.12.9", Compiler:"gc", Platform:"linux/amd64"} 最初は、1行あたりの文字数制限とかを疑っていたのですが、そんな物は無かったようですね 笑☺️ 一応Xserverのトラブルシューティングの項目を貼っておきます。 結構いろいろ書いてありますが、今まで普通にエラーが出ていなかったのであれば、WAFの設定が怪しいですね。 サーバーのご契約が有効でない(サーバーの「凍結」状態) ドメインフォルダ内の[ public_html ]にデフォルトドキュメント(index.html や index.htm)がアップロードされていない [ public_html ](または上位フォルダ)が削除されている 特定のIPアドレスからアクセスを拒否している パーミッションに誤りがある .htaccessの記述に誤りがある WAF設定により不正アクセスと判断され拒否されている 記事の中にSQL文やJSONが書かれている時は、WAFにひかかっているかもという記事でした。

Kubernetes環境構築時に”The connection to the server 10.0.2.15:8443 was refused “

前提 以下の参考サイトを元に、Ubuntu環境、CentOS環境両方で試したのですが、同じエラーになってしまいました。 参考サイト:VagrantでkubeadmでKubernetesを起動する \ CentOS仮想環境は参考サイトの物を使いました。Ubuntuも確かそうだった気がする… 一応、最後には上手く行ったので備忘録を残しておきます CentOS 7 Vagrant up`した後に`kubectl versionと打つと、 [root@master /]# kubectl version Client Version: version.Info{Major:"1", Minor:"15", GitVersion:"v1.15.1", GitCommit:"4485c6f18cee9a5d3c3b4e523bd27972b1b53892", GitTreeState:"clean", BuildDate:"2019-07-18T09:18:22Z", GoVersion:"go1.12.5", Compiler:"gc", Platform:"linux/amd64"} The connection to the server 10.0.2.15:8443 was refused – did you specify the right host or port? となりHostServeにアクセス拒否されたというエラーになってしまいます。 調べてみるとFire Wallのせいでアクセス拒否されている可能性があるとのことだったので、以下のコマンドを実行しておきます。 systemctl disable firewalld systemctl stop firewalld 終わったら、kubernetesクラスターを実行しましょう # Add…