ITPASS 実習レポート 1

名前：鉄谷圭人

担当情報実験機：joho-05

問 1

スクリプトの URL

※UTF-8で記載。ChromeとEdge上では文字化けしているが、Firefoxでは正常に表示される。ターミナルからviで閲覧する分にも問題ないことを確認した。以降の.txtファイルについても同様。
scripts/quiz1.sh.txt

修正後
scripts/quiz1_r.sh.txt

スクリプトの使い方の解説

初めにquiz1.sh.txtをダウンロードし、名前を"quiz1.sh"に変更する。
ika-itpassから取得したkadai1_dataのファイル群に対して、quiz1.shをdata2019.csvと同じ階層に置いた上で実行する。処理のためにヘッダ行と１月のデータを削った2019cut.csvが生成され、結果はターミナル上に表示される。

初めにquiz1_r.sh.txtをダウンロードし、名前を"quiz1_r.sh"に変更する。
ika-itpassから取得したkadai1_dataのファイル群に対して、quiz1_r.shをdata*.csv（*は算出したい年）と同じ階層に置いた上で実行する。
算出を開始する年、終了する年を聞かれるので、（今回はファイルの都合上2010-2019の間で）任意の範囲で年を指定する。
指定した範囲の各年について開花予想日が算出され、結果がターミナル上に表示される。

実行結果へのリンク

results/result1.txt

results/result1_r.txt

参考資料

• 「bashでCSVを読み込み1行ずつループ処理する」SoarTec-lab
  ファイルの読み込みについて。while readの主な構文はこのサイトから引用、編集した。
• 「便利なシェルスクリプトtips」tomoyamachi
  「単項演算子が予期されます」のエラーについて
• 「Linux - 標準出力で先頭指定行飛ばしたり、後ろ指定行読み」@makaaso
  tailで先頭行の読み飛ばし
• 「シェルスクリプトで小数の大小比較を行う」meta's blog - The Power To Serve
  if文内で小数を使用して計算させる
• 「| while read のwhileループ脱出にはbreakではなくexitを利用する(+それに関連するTips)」@neko_the_shadow
  while readの脱出方法

• 「課題1スクリプト」山口海斗
  パイプラインを利用して、一時ファイルを作成させずにスクリプトを実行する。
• 「Bash 多重ループの抜け方」ike-dai
  多重ループの抜け方

共同作業した人の名前

無し。

工夫したこと, 感想

• bashに慣れるため、試行錯誤でとりあえず作ってみた、というところ。膨大なデータを１行ずつ取り出して処理できるwhile readがこの場合便利なのだとわかった。Fortranのように、値の受け渡しに引数を多用するつもりで書いていたが、構文を見ていて何となくスッキリしない。課題２では引数以外の方法も考えてみることにする。
• 他の年度のものはまだ取り組んでいないが、データの書式は同じはずなので、年度の値だけ変更して同じ構文を並べるだけでも可能だと考えられる。その場合でも、新しいwhile文の下の階層に今のwhile read以下を入れ子にするなど、構文を省略する方法が何かしらあるはず。

• パイプラインを利用して、一時ファイルを作成せずに実行できるようにした。
• 2019年以外の他の年の開花予想日についても、引数を用いて同時に算出できるように改良した。類似の構文を年数分並べる方法も試して成功はしたが、やはりこちらのほうが汎用性が高く、プログラムとしても簡潔。
• 文章による誘導を行い、動作をユーザーにわかりやすくした。

問 2

スクリプトの URL

scripts/quiz2.sh.txt

修正後（条件に応じて2種類作成）
scripts/quiz2_r.sh.txt：実行する度に全ての処理を行う。実行後に新規ファイルが残らない。
scripts/quiz2_r2.sh.txt：参照ファイルが有る場合に、時間のかかる処理を省略する。2回目以降の検索が早い。参照ファイルが無ければ自動的に生成する。

スクリプトの使い方の解説

初めにquiz2.sh.txtをダウンロードし、名前を"quiz2.sh"に変更する。
ika-itpassから取得したkadai2_dataのファイル群に対して、quiz2.shを、list.txtと同じ階層に置いた上で実行する。結果のパスはターミナル上とrepath.txtの両方に出力され、eogで画像が表示される。
但し、findでファイル名のリストを生成する際に絶対パスとワイルドカードを使って検索をかけているため、"/home/tetsuya/kadai2_data/*/*.jpgのうち、quiz2.shがあるディレクトリよりも上層の"/home/tetsuya/"の部分については、データの置き場所によって適宜変更する必要がある。

・quiz2_rについて。
初めにquiz2_r.sh.txtをダウンロードし、名前を"quiz2_r.sh"に変更する。
ika-itpassから取得したkadai2_dataのファイル群に対して、quiz2_r.shを、list.txtと同じ階層に置いた上で実行する。結果のパスはターミナル上に出力され、eogで画像が表示される。
※実行時間に30sほど必要。

・quiz2_r2について。
実行方法はquiz2_rと同様。
※最初の実行時は、参照ファイルを生成するのに30sほど必要。2回目以降は数sで検索結果が出力される。

実行結果へのリンク

results/result2.txt

修正後
results/result2_r.txt
results/result2_r2.txt
※timeコマンドは実行時間計測のためなので、timeを挟まず"./quiz2_r.sh"や"./quiz2_r2.sh"としても実行可能。

参考資料

　
• 「ファイルなどを検索する！findコマンドの詳細まとめ【Linuxコマンド集】」リナックスアカデミー
  findによるファイル名のリストアップ
• 「sortコマンドについて詳しくまとめました 【Linuxコマンド集】」リナックスアカデミー
  sortの使い方
• 「sortコマンド、基本と応用とワナ」@richmikan@github
  sortのオプションについて
• 「コンソール上で指定した数字に近い値順にsortをする」
  awkを用いて、指定した値に最も近い値順でソートする。awk内の処理はこのサイトから引用、編集した。
• 「awkでcsvに任意の列を追加する」@tochiji
  awkで、読み込んだデータファイルに新たな列を付加する方法
• 「awkコマンドの基本」@yamazon
  awkで入力と出力それぞれのフィールド区切り文字を指定する方法
• 「sort, sort -n, sort -r, sort -nr の違い」K-Lab
  sortで文字列を数値として並べ替えるためのオプション
• 「ファイルの先頭から表示するheadコマンドの詳細まとめ【Linuxコマンド集】」リナックスアカデミー
  headの出力する行数を指定するオプション
• 「【 cut 】コマンド――行から固定長またはフィールド単位で切り出す」[西村めぐみ，＠IT]
  cutでフィールドを指定して切り出す
• 「Linuxで標準出力とファイルの両方に「リアルタイムで」出力する」@kawasaki
  ファイルと標準出力へ同時出力

• 「date コマンド」hydrocul
  dateコマンドの使い方、任意の日付について秒換算で出力する
• 「linux ? HH：MM：SS（時：分：秒。秒）を秒に変換する簡単な方法」CodeDay
  時刻を秒に換算する数式
• 「bashで変数から部分文字列を取得する」koara-local
  フィールド区切り文字がない場合の文字列の切り出し
• 「【 find 】コマンド（応用編その2）――検索したファイルを指定したフォーマットで表示する」西村めぐみ,@IT
  findで、絶対パスによらず検索し、ファイル名を相対パスで出力する
• 「【bash】文字列の連結について解説します【やり方は超簡単です】」渋谷 求人
  awkを用いない、文字列の連結
• 「【 time 】コマンド（bash）――コマンドの実行時間を計測する」西村めぐみ
  スクリプトの実行時間を測定

共同作業した人の名前

無し。

工夫したこと, 感想

• bashに適するよう、引数の使用を控えてパイプラインを使うようにした。当初は、値の受け渡しの都度に新しいファイルを作成して渡していたが、パイプラインが便利だとわかり、最終的に処理に部分はすべてパイプラインでつないで１文にできてしまった。
• 最初は年月日と時刻それぞれでcat | awk | sortの処理を行わせていたが、sortで並び替える条件のフィールドを指定する-kオプションが複数フィールドでも使えるとわかり、最終的に１回のawkコマンドで実行させることが出来た。
• 結果として得られるパスの表示と画像データの表示について、ターミナル上に表示した上でeogコマンドでも使用できるように、teeコマンドで画面上に表示させつつ、repath.txtを生成してeogで読み込むようにした。
• 画像ファイルのリストを生成する際、最初はファイル名だけを検索しようとしたが、最後に絶対パスを出力する必要から、絶対パスで検索するfindコマンドを用いた。quiz2.shが、各画像データのあるディレクトリと同じ階層にある状態で機能する。但し、絶対パスで画像ファイルを指定している都合上、quiz2.shと画像データが入っているディレクトリkadai2_dataよりも上の階層のパスについて、知っておく必要がある。後で気づいたが、pwdコマンドでパスを出力させてから、findに回せば、この留意点は回避できるかもしれない。
• awkで入力値との差の絶対値を計算する構文については参考資料から引用、適宜編集して使用したが、sortの-k2nオプションについては調べても詳細がわからなかった。暫くの間、-k2nでしかうまく並び替えができず困っていたところ、sortのオプションについて調べた結果、入出力の区切り文字を指定した上で、-nオプションで数値として並び替えが実行できるようになったため、よくわからない-k2nを使わずに済んだ。
• 日付を跨いで最も近いデータが有る場合のことを考えるなら、全ての日時データを秒に換算し直した上で、差を計算し、並べ直す必要があると考えられる。しかしこれは、うるう年や、月によって日数が異なることも考慮しなければならず、まだ実装できていない。

• findの-nameオプションを利用することで、ファイル名のみで検索し、且つ相対パスでの出力が可能となった。これにより、上の階層のパスが異なる環境でも変更を加えることなく利用できる。
• 入力値、ファイル名、全ての日時データを秒に換算し、検索するようにプログラムを修正した。これで最も近いデータを検索できる。但し、閏秒については、対処的に行われるうえ、1秒〜26秒程度と今回検索するデータに対してほぼ無視できる差異なので、考慮していない。
• 修正前の実行時間5s程度に対して、修正後は30s程度と6倍もの時間がかかる。そのため、ファイル名のリストアップと、各ファイル名の年月日と時刻の秒への換算の処理を切り分け、一時ファイルとしてではなく検索用の参照ファイルとしてリストを生成することにした。旧来通りスクリプト内で全て処理するプログラムをquiz2_r.shとし、参照ファイルを生成する代わりに2回目以降の検索を迅速に行うプログラムをquiz2_r2.shとして作成した。特性の異なる2つのプログラムを用意したことで、環境や条件に応じて使い分けられるようにした。
• やむを得ず生成していた一時ファイルrepath.txtについては削除コマンドをスクリプト内に組み込んだ。
• ユーザーに対して文章による誘導を行い、使いやすくした。特に参照ファイルの作成は時間がかかるため、正しく実行されているのかユーザーが不安にならないように配慮した。