How to solve disk storage problem in GCP Virtual Machine / グーグルクラウドプラットフォーム(GCP)仮想マシンインスタンスの容量不足への対応方法

ルークスのブログはGoogle Cloud Platformの仮想マシンサービスを使って運営しています。

Google Cloud Platform

このサービスは最安の構成でも非常にコスパが良く助けられています。以下は2021年12月の価格で800円台で運用できています。(前月比50%減はこのサーバー上で色々と作業を行なったためです)

しかし最近は頻繁にブログを更新するせいか将来的なストレージ不足が懸念されるようになってきました。

$ df -h | grep sd
/dev/sda1 30G 5.1G 24G 19% /

よってその対応方法を検討したいと思います。

1. 仮想マシンのストレージ増加

以下はストレージ30GBから順に増加させた場合のコスト予測結果の一覧で10GBにつき1$増えることになります。現状のストレージ利用率が約20%で余裕はありますが、心理的には現状で60GBにしたいくらいなので正直言ってこれは割高な気がします。

ストレージ容量[GB]コスト予測(CPU+memory)[$]コスト予測(ストレージ)[$]長期利用割引[$]Total[$]
305.553.00-1.666.88
404.007.88
505.008.88
606.009.88
707.0010.88
808.0011.88
909.0012.88
10010.0013.88

2. クラウドストレージの活用

GCPにはクラウドストレージというサービスがあります。AWSでいうS3ですね。

クラウドストレージとは

このサービスを話すにあたっては「ストレージクラス」という概念について簡単に理解する必要があります。

ストレージクラス

クラウドストレージには4つのクラスが存在しています。

  • Standard
  • Nearline
  • Coldline
  • Archive

公式では以下の表のように大まかな分類がなされています。

https://cloud.google.com/storage/docs/storage-classes?hl=ja#descriptions

そして肝心の料金ですが驚愕の数値です。北アメリカ地域におけるロケーション別クラス別の月額料金表になります。Archiveクラスだと仮想マシン上でのストレージ変更と比較して約1/800も少ないのです。ほとんどタダですよこれ。

https://cloud.google.com/storage/pricing#north-america

今後のブログ運営の全体像

クラウドストレージの驚愕のコスパによって今後のブログ記事のメディアソースの多くはクラウドストレージに集約していこうかと思います。一部よりメディア露出させたいアイテムに関してはYoutube公開してから記事内に埋め込むといった使い分けをしていこうと思います。

How to deploy for minimum Python Flask application on Apache / Apache上で最小構成のPython Flaskアプリをデプロイする方法

WSGIファイルの設定

$ cd /home/ubuntu/
$ mkdir -p hoge/test # hogeアプリのディレクトリ、各種コードはhoge/testに格納する
$ cd hoge
$ python3 -m venv venv
$ source venv/bin/activate
$ pip install flask mod_wsgi
$ vim flaskapp.wsgi
# flaskapp.wsgi
import sys
sys.path.insert(0. '/home/ubuntu/hoge') # wsgiは絶対パスによる参照が必要
from test import app as application # 後述

Flaskアプリの実装

$ cd /home/ubuntu/hoge/test
$ vim __init__.py
# __init__.py
from flask import Flask
app = Flask(__name__)

@app.route('/')
def index():
    return 'hoge'

if __name__ == '__main__':
    app.run(host='0.0.0.0')

Apacheの設定、.confの編集

$ cd /etc/apache2/sites-available/
$ sudo cp 000-default.conf 000-default.conf.bk # バックアップ
$ sudo vim 000-default.conf
# 000-default.conf
LoadModule wsgi_module "/home/ubuntu/hoge/venv/lib/python3.8/site-packages/mod_wsgi/server/mod_wsgi-py38.cpython-38-x86_64-linux-gnu.so" # 補足①を参照
WSGIPythonHome "/home/ubuntu/hoge/venv"
WSGIScriptAlias /hoge /home/ubuntu/hoge/flaskapp.wsgi
<VirtualHost *:80>
        # The ServerName directive sets the request scheme, hostname and port that
        # the server uses to identify itself. This is used when creating
        # redirection URLs. In the context of virtual hosts, the ServerName
        # specifies what hostname must appear in the request's Host: header to
        # match this virtual host. For the default virtual host (this file) this
        # value is not decisive as it is used as a last resort host regardless.
        # However, you must set it for any further virtual host explicitly.
        #ServerName www.example.com

        ServerAdmin webmaster@localhost
        ServerName sample.com
        DocumentRoot /var/www/html

        <Directory /home/ubuntu/hoge > # アクセス許可のためのディレクティブ設定
                Require all granted
        </Directory>

        # Available loglevels: trace8, ..., trace1, debug, info, notice, warn,
        # error, crit, alert, emerg.
        # It is also possible to configure the loglevel for particular
        # modules, e.g.
        #LogLevel info ssl:warn

        ErrorLog ${​​​​​APACHE_LOG_DIR}​​​​​​​​​​​​/error.log
        CustomLog ${​​​​​​​​​​​​​​​​​​​APACHE_LOG_DIR}​​​​​​​​​​​​​​​​​​​​​​​​​​/access.log combined

        # For most configuration files from conf-available/, which are
        # enabled or disabled at a global level, it is possible to
        # include a line for only one particular virtual host. For example the
        # following line enables the CGI configuration for this host only
        # after it has been globally disabled with "a2disconf".
        #Include conf-available/serve-cgi-bin.conf
</VirtualHost>

補足① wsgi_module、WSGIPythonHomeの取得

以下コマンドで各種パスを取得

$ mod_wsgi module-config

How to deploy for Python Flask application with API / View separation / APIとViewを切り分けたPython Flaskアプリのデプロイ方法

参考記事

https://loochs.org/how-to-deploy-for-minimum-flask-application-on-apache-apache/

初めに

以下のような構成でアプリをデプロイしたいとする

APIの実装

$ cd /home/ubuntu/hoge/test
$ vim api/body.py
# api/body.py

from flask import Flask, Blueprint

api = Blueprint('api', __name__) # apiをモジュールとして定義

@api.route('/')
def index():
    return 'This is api'

上記のapiをモジュールとして読み込むためにアプリロジックを以下のようにする。

$ vim __init__.py
# __init__.py

import sys
sys.path.insert(0, '/home/ubuntu/hoge/test')

from flask import Flask
app = Flask(__name__)

from api.body import api
app.regster_blueprint(api, url_prefix='/api')

@app.route('/')
def index():
    return 'This is app route'

if __name__ = '__main__':
    app.run(host='0.0.0.0')

Apacheの設定変更

任意のurl、例えばhttp://sample.com/hoge/api でレスポンスが得られるようにしたい

$ cd /etc/apache2/sites-available/
$ sudo vim 000-default.conf
# 000-default.conf
LoadModule wsgi_module "/home/ubuntu/hoge/venv/lib/python3.8/site-packages/mod_wsgi/server/mod_wsgi-py38.cpython-38-x86_64-linux-gnu.so" # 補足①を参照
WSGIPythonHome "/home/ubuntu/hoge/venv"
WSGIScriptAlias /hoge /home/ubuntu/hoge/flaskapp.wsgi
<VirtualHost *:80>
        # The ServerName directive sets the request scheme, hostname and port that
        # the server uses to identify itself. This is used when creating
        # redirection URLs. In the context of virtual hosts, the ServerName
        # specifies what hostname must appear in the request's Host: header to
        # match this virtual host. For the default virtual host (this file) this
        # value is not decisive as it is used as a last resort host regardless.
        # However, you must set it for any further virtual host explicitly.
        #ServerName www.example.com

        ServerAdmin webmaster@localhost
        ServerName sample.com
        DocumentRoot /var/www/html

        <Directory /home/ubuntu/hoge > # アクセス許可のためのディレクティブ設定
                Require all granted
        </Directory>

        # Available loglevels: trace8, ..., trace1, debug, info, notice, warn,
        # error, crit, alert, emerg.
        # It is also possible to configure the loglevel for particular
        # modules, e.g.
        #LogLevel info ssl:warn

        ErrorLog ${​​​​​APACHE_LOG_DIR}​​​​​​​​​​​​/error.log
        CustomLog ${​​​​​​​​​​​​​​​​​​​APACHE_LOG_DIR}​​​​​​​​​​​​​​​​​​​​​​​​​​/access.log combined

        # For most configuration files from conf-available/, which are
        # enabled or disabled at a global level, it is possible to
        # include a line for only one particular virtual host. For example the
        # following line enables the CGI configuration for this host only
        # after it has been globally disabled with "a2disconf".
        #Include conf-available/serve-cgi-bin.conf
</VirtualHost>

Change default setting for add new users on linux / Linux上で新規ユーザー追加時のデフォルト設定を変更する

やりたいこと

  • jupyterhubでのユーザー追加時にデフォルトでnotebooksフォルダを追加したい
  • プロキシ設定をデフォルトで追加したい

新規ユーザー登録時のデフォルトフォルダの設定

$ sudo mkdir /etc/skel/notebooks # /etc/skelがスケルトンディレクトリと言い、新規ユーザーのホームディレクトリに自動的にコピーされる

プロキシ設定を追加する

$ vim /etc/skel/.bashrc

export HTTP_PROXY=[proxy]
export HTTPS_PROXY=[proxy]

補足

ちなみにユーザー追加時のデフォルト設定は以下のコマンドから確認可能

$ useradd -D # DはDefault
GROUP=100
HOME=/home
INACTIVE=-1
EXPIRE=
SHELL=/bin/bash
SKEL=/etc/skel
CREATE_MAIL_SPOOL=no

GCPのVM-アパッチサーバー(Debian)を定期アップデートする

VMが月1ペースで落ちてしまいホストしているサイトがアクセス不可になる事象を回避したくて定期アプデを仕込みました。

cronを使う

crontabクロンタブ、あるいはクローンタブ、クーロンタブとも)コマンドはUnix系オペレーティングシステム (OS) において、コマンドの定時実行のスケジュール管理を行うために用いられるコマンドである。

https://ja.wikipedia.org/wiki/Crontab

/etc配下に関連するファイルが存在します。

ご存知のとおり、Debian系の cron は以下の 2か所に置かれた crontabファイルを認識します。 /etc/crontab /etc/cron.d/* また、/etc/cron.hourly/、/etc/cron.daily/ などの事前定義済みのディレクトリ (以降、総称して「/etc/cron./」と呼びます。) 配下に実行ファイルを置いておけば、配置したディレクトリに応じて毎時〜毎月の頻度で定期実行してくれます。

https://tech.quickguard.jp/posts/etc-cron-debian-specific/

crontabとcron.*の違い

両者の違いについては以下のような解説がなされています。Linux distribution共通なのがcrontabでcron.*はその点の注意が必要だと。

この違いについては、Debianのcron(8)のマニュアルページに詳しく書かれています。主な違いは、/etc/cron.d が個別のファイルで構成されているのに対し、crontab はユーザごとに 1 つのファイルを管理することです。したがって、スクリプトを使って /etc/cron.d の内容を管理するのは簡単ですし (自動インストールや更新の場合)、エディタを使って crontab を管理するのは簡単です (実際にはエンドユーザの場合)。 その他の重要な違いは、すべてのディストリビューションが/etc/cron.dをサポートしているわけではないことと、/etc/cron.d内のファイルは(有効なcronジョブであること以外に)いくつかの要件を満たさなければならないことです。ファイルの所有者はrootでなければならず、run-partsの命名規則(ドットはなく、文字、数字、アンダースコア、ハイフンのみ)に従わなければなりません。 /etc/cron.d を使用する場合は、代わりに /etc/cron.hourly、/etc/cron.daily、/etc/cron.weekly、/etc/cron.monthly のいずれかを検討するのがよいでしょう。

https://unix.stackexchange.com/questions/417323/what-is-the-difference-between-cron-d-as-in-etc-cron-d-and-crontab

結論、どうすればいいのか

$ sudo vim /etc/cron.monthly/update.sh

#! /bin/sh
/usr/bin/apt-get update #リポジトリの更新(root権限が必要)
/usr/bin/apt-get autoclean -y
/usr/bin/apt-get dist-upgrade -y 
sudo service apache2 restart

それぞれのコマンドについて

apt-get update

update は、パッケージのインデックスファイルをソースから再同期させるために使用されます。利用可能なパッケージのインデックスは、/etc/apt/sources.list で指定された場所から取得されます。例えば、Debian アーカイブを使用している場合、このコマンドは Packages.gz ファイルを取得してスキャンし、新規および更新されたパッケージに関する情報を利用できるようにします。アップデートは、アップグレードやディス トアップの前に必ず実行してください。パッケージファイルのサイズを事前に知ることができないため、全体の進捗メーターが正しくないことにご注意ください。

http://manpages.ubuntu.com/manpages/jammy/en/man8/apt-get.8.html

apt-get upgrade

apt-get には「スマートな」競合解決システムがあり、必要に応じて重要度の低いパッケージを犠牲にして、最も重要なパッケージをアップグレードしようとします。/etc/apt/sources.list ファイルには、必要なパッケージファイルを取得する場所のリストが含まれています。個々のパッケージの一般的な設定を上書きする仕組みについては、 apt_preferences(5) も参照してください。

http://manpages.ubuntu.com/manpages/jammy/en/man8/apt-get.8.html

apt-get autoclean

オートクリーンは、クリーンと同様に、取得したパッケージファイルのローカルリポジトリを消去します。異なる点は、ダウンロードできなくなったパッケージファイルや、ほとんど役に立たないパッケージファイルのみを削除することです。これにより、キャッシュが制御不能になることなく、長期間にわたって維持することができます。設定オプションの APT::Clean-Installed が off に設定されていると、 インストールされたパッケージが消去されるのを防ぎます。

http://manpages.ubuntu.com/manpages/jammy/en/man8/apt-get.8.html

新年のご挨拶

一般社団法人ルークスより謹んで新春をお祝い申し上げます。

昨年は当法人を設立して初めての地域の子どもたちのためのワークショップを開催することができました。本年も引き続きよろしくお願いいたします。

2020年はルークスの活動を本格化していきます。まず、2020年1~3月ではアソビIoTワークショップを月1回、そして4月以降は月2回のペースで開催していきます。加えて「社会課題の発見と解決」をテーマにした課外活動を今年中に開催します。

また2020年からは活動場所を宇都宮市まちづくりセンター「まちぴあ」さまにお借りして宇都宮市の地域貢献活動にも参加していきます。

最後に我々が法人活動をするにあたって大変参考にしている一般社団法人アカデミーキャンプさまの記事に大変感銘を受けたのでそちらをご紹介して新年のご挨拶を終わりとさせていただきたいと思います。

これまでアカキャンに参加し、そしてこれから参加するみなさん。みなさんもオードリーさんと同じように、アカキャンを通して、大学等で研究している研究者たちや学生たち、アーティストたち、アスリートたち、職業人たち、起業によって新しい職業を創り出す人たち、職業という概念を壊す人たちなど、プロフェッショナルに活躍している大勢の人々とつながり、直接やりとりして、一緒に仕事ができます。学校に通いながらでも社会に参加し、問題があると思ったら、そこを直していくことができます。学校を卒業して、いわゆる「社会に出る」まで待つ必要などありません。みなさんもすでに社会の一員なのです。

※台湾でデジタル担当大臣を務める有名なプログラマーの方です(wikipediaリンク)