正規表現入門 part 1

• 1. 正規表現の基本
  • 正規表現とは
  • 正規表現はどのような時に使うのか？
  • メタ文字とリテラル
    • メタ文字の分類
    • 量指定子
    • アンカー（位置指定子）
    • エスケープシーケンス
  • その他
• 2. 正規表現の基本演算：連接, 選択, 繰り返し
  • 連接
  • 選択
  • 繰り返し
  • 演算子の結合順位
  • グループ化
• 3. キャプチャと置換
  • 文字列の部位とマッチング
  • キャプチャ
    • 事例 1 順番キャプチャ: bash commandsed と正規表現を用いてファイルをrenameする
    • 事例 2 名前付きキャプチャ: Pythonと正規表現を用いて日付表現を日本語に直す
    • 事例 3 順番キャプチャ: 2015年国勢調査shpファイルをcurlコマンドで一括downloadする

1. 正規表現の基本

正規表現とは

正規表現(regular expression)とは文字列のパターンを記述するための「表現式」です。表現式ということなので数式のように書き方に一定の構文規則(syntax)があります。式は以下の要素の規則的な組み合わせで表現されます：

一例として、

1
0|1|2|3|4|5|6|7|8|9

という正規表現は、0から9までのいずれかの数字1文字という文字列のパターンを表現しています。このパターンは[0-9]や\dという正規表現でも表現できますが、詳細は後述します。なお「正規」とはある規則に則ってるという意味で理解するとわかりやすいです。

正規表現はどのような時に使うのか？

コンピューターのプログラムやデータの多くは文字列で表現されています。そのデータやプログラムを対象に

• 文字列検索
• 文字列の書き換え
• 入力形式のvalidation

といった操作をする時に正規表現は役に立ちます。例えば、とある入力フォームで携帯電話番号を申請者に入力してもらうボックスがあったとします。この時、080-6666-7777といった形式で入力してもらいたいが入力情報がそのフォーマットに則っているか確かめたい場合、

1
\d{3}(-\d{4}){2}

という正規表現にマッチする文字列しか認めない関数を組むとaaa-rtyu-gbnuや080-99-99といった入力を拒絶することができます。また、Pythonなどのプログラミング言語の変数名のvalidation処理（例：変数名はアルファベットか_で始まらなくてはならない）も、正規表現で実現されています。そのほかにも多くのテキストエディターで実装されているシンタックスハイライトも、正規表現で特定のプログラミング言語に応じた文字列規則の抽出という処理を実施しています。

メタ文字とリテラル

正規表現において文字はメタ文字とリテラルの二つの種類に分類されます。

• メタ文字 : metacharacter, 特別な意味を文字のこと
• リテラル : literal, 特別な意味を持たない文字のこと

メタ文字の分類

メタ文字は量指定子やアンカーなどの種類に分類されます。

量指定子

アンカー（位置指定子）

エスケープシーケンス

その他

2. 正規表現の基本演算：連接, 選択, 繰り返し

正規表現は

• 連接
• 選択
• 繰り返し

という３つの基本演算を備えています。

連接

正規表現を繋げる演算は連接, concatenationと呼ばれます。連接はよく使われる演算なので、演算子として特別な記号はありません。例えばREGEXという文字列はR, E, G,E, Xの5つの文字の連接で成立しています。

選択

r|sという正規表現はrまたはsというパターンを表しています。

1
[東|京]大

は東大と京大の文字列にマッチします。

繰り返し

\d*は任意の長さの数字列（空文字も含む）を表したり、[A-Za-z]{1,}は任意の長さのアルファベット文字列（空文字除く）を表現しています。量指定子を用いることで指定されたパターンの繰り返しから構成される文字列のマッチが可能となります。

演算子の結合順位

演算の結合順位とは、どの演算から先に評価するかという順位規則のことです。正規表現における結合順位は

1
繰り返し > 連結 > 選択

グループ化

数式と同じように丸括弧を使って文字列を括ることでどの演算を優先的に評価するかを明示的に指定することができます。丸括弧を用いて正規表現を括る機能をグループ化と呼びます。

apple|orange*とするとappleまたはorange*にマッチするが、(apple|orange)*ならばappleorangeやorangeorangeなどにマッチします。

3. キャプチャと置換

正規表現を用いて文字列のキャプチャと置換を紹介します。文字列に対して正規表現を用いてマッチさせ、マッチした文字列に対して置換という操作をします。

文字列の部位とマッチング

文字列には部位を表す三つの用語があります。prefix, suffix, substringです。

この文字列の部位をマッチングのパターンと関連づけると、

キャプチャ

正規表現と文字列からサブマッチを取得する処理のことをキャプチャと言います。キャプチャには二つの方法があります。

• 順番で指定する方法
• 名前で指定する方法

の二つです。

順番で指定する場合は、正規表現を用いて抽出されたサブマッチのインデックスを利用して、n番目のサブマッチを取得します。名前で指定する方法は、各サブマッチとその名前を辞書の様に対応させ、各サブマッチを取得する方法です。事例を通してこれらを紹介していきます。

事例 1 順番キャプチャ: bash commandsed と正規表現を用いてファイルをrenameする

sed はgrepと並ぶUnixを代表するコマンドラインツールで、正規表現を使って文字列を置換するときに役に立ちます。s/regex/replacement/gという構文で正規表現にマッチした文字列を置換します。一例として、

1
2
$ echo 'kirakira bushi' | sed -E 's/([A-Za-z]+) ([A-Za-z]+)/\2 \1/'
bushi kirakira

s/regex/replacement/gのsは置換(substitute)を意味し、末尾のgはglobalを意味しています。globalとはパターンにマッチする文字列全てを置換するオプションです。

前準備が整ったので以下でash commandsed と正規表現を用いてファイルのrenameを説明します。

まず現在のworking directoryに

1
$ touch a_20190601.tsv a_20190602.tsv a_20190603.tsv a_20190604.tsv a_20190605.tsv a_20190606.tsv

で空ファイルを作ります。その結果、

1
2
3
4
5
6
a_20190601.tsv
a_20190602.tsv
a_20190603.tsv
a_20190604.tsv
a_20190605.tsv
a_20190606.tsv

というファイルができます。[field1]_[field2].tsvというファイル名のデータを[field2]_[field1].tsvに直したいとします。順番で指定する方法でファイルをrenameします。

1
$ ls -1| sed -nr "s/([a-z]+?)_([0-9]+?)\.tsv/mv & \2_\1.tsv/g" | bash

ここでの処理は、

1. ls -1でファイル一覧を縦のリストとして取得し、パイプ |を用いてsedコマンドにファイル一覧を渡します。
2. sedの-rオプションは以下正規表現を使いますよという命令をします。
3. sedの-nオプションはマッチしなかったファイルのprint出力をsuppressします
4. /mvはmvコマンドを使うという意味です。
5. \2と\1は()でキャプチャしたサブマッチのindexを示しています。なお、 \0には、ファイルネームが格納されています。
6. bashコマンドに渡し、Linuxコマンドとして実行することを意味しています。最後のbashは結果の保存のためと理解しといてください。

結果、

1
2
3
4
5
6
a_20190601.tsv
a_20190602.tsv
a_20190603.tsv
a_20190604.tsv
a_20190605.tsv
a_20190606.tsv

となります。

事例 2 名前付きキャプチャ: Pythonと正規表現を用いて日付表現を日本語に直す

次の様なtest.pyファイルを作成する

1
2
3
4
5
6
7
8
9
import re

def main():
    str1 = "2020-11-31"
    str2  = re.sub('(?P<y>\d{4})-(?P<m>\d{2})-(?P<d>\d{2})',r'\g<y>年\g<m>月\g<d>日',str1)
    print(str2)

if __name__ == "__main__":
    main()

これをpython test.pyで実行すると

1
2
$ python test.py
2020年11月31日

と出力される。(?P<名前>･･･)と指定すると名前付きキャプチャができるようになる。参照するには\g<名前>とします。

事例 3 順番キャプチャ: 2015年国勢調査shpファイルをcurlコマンドで一括downloadする

e-Statでは国勢調査のデータを都道府県別で公開している。2015年の国勢調査のデータのPATHはhttps://www.e-stat.go.jp/gis/statmap-search/data?dlserveyId=A002005212015&code=[01-47]&coordSys=1&format=shape&downloadType=5で[01-47]が各都道府県の番号に対応している。このファイルをダウンロードし、その名前は都道府県番号と対応させて保存したいとする。

この時、

1
curl 'https://www.e-stat.go.jp/gis/statmap-search/data?dlserveyId=A002005212015&code=[01-47]&coordSys=1&format=shape&downloadType=5' -o '#1.zip'

とすれば#1の部分にキャプチャした数値が入力され、このコマンドだけで各都道府県のshpファイルをダウンロードすることができる。