アルゴリズムの基本をJava、C#、Pythonで学ぼう - データを集計し、言語ごとの違いを知る

Javaを用いてCSVなどのテキストファイルを処理する方法は複数あり、どれを利用すればいいのか迷うほどです。ただ、Java7以降であれば、Filesクラスを使うのが最も便利でしょう。FilesクラスのnewBufferedReaderメソッド（BufferedReaderオブジェクトの生成）を使えば、テキストファイルの読み込みがシンプルに記述できます。

最高気温、最低気温の日時を求める

まず、全体の処理から説明しましょう。なお、記事本文にソースコードを全て掲載すると長くなるので、以下のリンクから別途ダウンロードの上、確認してください。

• https://github.com/hbmet/engineerhub-sample-20200227/blob/master/src/Main.java

var dtmp = new Dtemp(); // 最高・最低気温とその日時を処理するクラスのインスタンス生成
var file = Paths.get("data.csv");                       // CSVファイルの指定
try (var br = Files.newBufferedReader(file);) {         // ファイルのオープン　【1】
    String line = null;
    while ((line = br.readLine()) != null) {            // 1行ずつ取得　【2】
        var r = line.split(",");                        // カンマで分割する　【3】
        if (r[2].compareTo("8") == 0) {                 // 品質情報が8のみ対象にする　【4】
            dtmp.setValue(r[0], Float.valueOf(r[1]));   // 気温の比較処理　【5】
        }
    }
}
catch (IOException e1) {
    e1.printStackTrace();
}
// 結果の表示を行う
System.out.printf("最高：%.1f℃\n", dtmp.smax);
dtmp.max_days.forEach(System.out::println);
System.out.printf("最低：%.1f℃\n", dtmp.smin);
dtmp.min_days.forEach(System.out::println);

ファイルオープン処理では、try-with-resources文を用いています（【1】）。この構文を使うと、文の終わりでクローズ処理が自動的に実行されます。そのため、クローズ処理の記述漏れなどのミスを防げます。

BufferedReaderクラスのreadLineメソッドを使うと、CSVファイルから1行ずつ文字列として取得できます（【2】）。このwhileループではreadLineメソッドがnullを返すまで、繰り返し実行されます。1行分の文字列は、splitメソッドを使って、カンマごとの配列に分割します（【3】）。

品質情報の項目が8のときだけが正常の気温になっているので、その時だけの値を対象にします（【4】）。

最高気温、最低気温とその日時を保存するための処理は、次のようなクラスとして定義しました。

// 最高・最低気温とその日時を処理するクラス
class Dtemp{
    public float smax = -999, smin = 999;    // 最高気温、最低気温の保存用　【6】
    public List<String> max_days = new ArrayList<>();    // 最高気温の日時
    public List<String> min_days = new ArrayList<>();    // 最低気温の日時

    // 気温の比較処理　【5】
    // 引数は、日時とそのときの気温
    public void compValue(String dstr, float tmp) {
        if (max_days.isEmpty() || smax <= tmp) {    // 保存した値より大きい場合
            if (smax < tmp) max_days.clear();       // 保存した文字列を削除　【7】
            smax = tmp;
            max_days.add(dstr);
        }
        if (min_days.isEmpty() || tmp <= smin) {    // 保存した値より小さい場合
            if (tmp < smin) min_days.clear();       // 保存した文字列を削除　【7】
            smin = tmp;
            min_days.add(dstr);
        }
    }
}

最大値、最小値を求めるアルゴリズムは、ごく基本的なものです。

まず、初期値として暫定で最小値と最大値を決めます（【6】）。そして、順番にデータの全ての値と比較していきます（【5】）。より大きい値、小さい値が見つかれば、その値を保存したものと入れ替えていきます。このようにすると、最後には全体の最大値、最大値が保存されることになります。

最初の最大と最小の暫定値は、このコードのように、データ内の値より小さい値と大きい値（-999、999）にする、あるいは空（NULL）とする方法や、データの最初の値を用いる方法などがあります。最初の値を基準に用いるのは、テレビのコンクール番組（M-1グランプリなど）でもおなじみの手法ですね。

なお最高気温、最低気温は一つだけですが、日時は複数の場合があるので、ここでは、ArrayListクラス（可変の配列）を使って、複数の文字列を格納できるようにしています。保存した気温が更新されたときは、保存した日時を削除して、空にしています（【7】）。

最高気温、最低気温の日時を求めるアルゴリズムは、他にもいろいろと思い付くでしょう。前述したソートも、例えば最高・最低気温と日時を見つける処理とを分ければ、利用可能です。先に最高気温、最低気温だけをソートして求め、次に、その気温の日時を探索する方法です。データを全てメモリ上に読み込めるのなら、この方法の方が処理は速くなるかもしれません。

月ごとの集計

月ごとの集計でも、基本的なところは同じです。気温を比較して保存するクラスは、次のようにしました。

// ひと月の最高・最低気温を処理するクラス
class Mtemp{
    public float smax = -999, smin = 999;
    public float sum = 0;   // ひと月の気温の合計
    public int ct = 0;      // ひと月の気温値の数

    // 気温の比較処理　【1】
    // 引数は、気温
    public void compValue(float tmp) {
        if (smax < tmp) smax = tmp;
        if (tmp < smin) smin = tmp;
        sum += tmp;
        ct++;
    }
}

compValueメソッドでは、最高最低気温だけでなく、平均を計算するために、気温の合計とその個数も保存するようにしています（【1】）。

気温の合計とその個数を求めるアルゴリズムも、ごくシンプルなものです。それぞれ初期値を0にしておき、データのループ処理のなかで、気温を加算、初期値をインクリメントする方法です。

なお、「月単位の気温」というデータを保持する必要があるので、あらかじめ12個のオブジェクトを生成します。CSVファイルの処理の前に、HashMapクラスを使って、月をキーに、Mtempオブジェクトを値として初期化します。なお、キーと値のペアを保持するデータ構造を、ハッシュテーブルと呼びます。

// 12ヶ月分のオブジェクトを作成しておく
var map = new HashMap<Integer, Mtemp>();
for(int i=1; i<=12; i++) {
    map.put(i, new Mtemp());
}

CSVファイルのwhileループの処理では、次のように実装しました。

// 気温の比較
// 日時文字列から、月のみを取り出す
var month = LocalDate.parse(r[0], DateTimeFormatter.ofPattern("yyyy/M/d H:mm")).getMonthValue(); // 【2】
map.get(month).compValue(Float.valueOf(r[1])); // 【3】

まず日時文字列から、月のみを取り出します。月を抽出する処理はいくつかあります。ここでは、日時文字列から、LocalDateクラスを使って、年月日の情報に変換し、getMonthValueメソッドで、月のみを参照しています。

そして、HashMapオブジェクトから、該当する月のMtempオブジェクトを参照して、compValueメソッドを実行しています（【3】）。

結果の表示では、HashMapオブジェクトからentrySetメソッドを使って、キーと値を順番に参照しています。

// 結果の表示
for (var m : map.entrySet()) {
    System.out.printf("%2d月 最高：%.1f℃ 最低：%.1f℃ 平均：%.1f℃\n",
            m.getKey(), m.getValue().smax, m.getValue().smin, m.getValue().sum/m.getValue().ct);
}

C#でのプログラム

C#でも、Javaと同様のアルゴリズムで実装でき、コード自体はかなり似たものになります。ただC#の方が、少しシンプルに記述できます。Javaと異なる箇所に絞って説明することにしましょう。

• https://github.com/hbmet/engineerhub-sample-20200227/blob/master/src/Program.cs

CSVファイルなどのテキストファイルの読み込みは、StreamReaderクラスを利用します。ReadLineメソッドで、1行ずつ取得できます。C#では、usingステートメントか、変数にusingを付けると（C#8以降）、オブジェクトの破棄が自動で実行されます。

using var sr = new StreamReader(@"data.csv");
while (!sr.EndOfStream)
{
    var line = sr.ReadLine();       // 1行ずつ取得
～略～

Dtemp、Mtempクラスでは、ほとんど同じコードとなりますが、ArrayListの代わりに、Listクラスとなります。また、メソッド名は、大文字から始める、いわゆるPascal表記が推奨されています。

最高気温、最低気温の日時を求める

// 最高・最低気温とその日時を処理するクラス
class Dtemp
{
     public float smax = -999, smin = 999;;        // 最高気温、最低気温の保存用
    public readonly List<string> max_days = new List<string>(); // 最高気温の日時
    public readonly List<string> min_days = new List<string>(); // 最低気温の日時

    // 気温の比較処理
    // 引数は、日時とそのときの気温
    public void CompValue(string dstr, float tmp)
～略～

月ごとの集計

日時文字列から、月のみを取り出す処理は、DateTimeクラスのParseメソッドを使いますが、標準的な書式であれば、特に書式を指定していなくても、日時を解析できます。

C#では、Dictionaryクラスがキーと値のペアを保持するハッシュテーブルのクラスとなります。

var month = DateTime.Parse(r[0]).Month;     // 日時文字列から、月のみを取り出す

// 12ヶ月分のオブジェクトを作成しておく
var map = new Dictionary<int, Mtemp>();

結果の表示

結果の表示のところ、C#6.0以降では、文字列の先頭に$を付けると、変数を{}で囲んで埋め込むことが可能です。また、書式指定子により、小数点の桁数などを指定することもできます。

// 月単位で最高気温、最低気温、平均気温の表示
foreach (var m in map)
{
    Console.WriteLine($"{m.Key,2}月 最高：{m.Value.smax:F1}℃ 最低：{m.Value.smin:F1}℃ 平均：{(m.Value.sum / m.Value.ct):F1}℃");
}

JavaとC#は、共にC/C++言語をベースとした構文のため、コードの見た目や文法的な違いは、あまり感じないかもしれません。しかし細部を見ていくと、いろいろと異なっています。

Pythonでのプログラム

Pythonでも、もちろんJavaと同様のアルゴリズムで実装可能ですが、コードはよりシンプルに記述できます。

• https://github.com/hbmet/engineerhub-sample-20200227/blob/master/src/temp.py

CSVファイルの読み込みは、標準ライブラリのcsvモジュールを使うと、簡単に読み書き可能です。またPythonでは、with構文が、try-with-resources文、using変数宣言と同等の処理になります。

最高気温、最低気温の日時を求める・月ごとの集計

try:
    # CSVファイルのオープン
    with open('data.csv') as csvfile:
        for r in csv.reader(csvfile):             # 1行ずつ取得
            if r[2] == "8":                       # 品質情報が8のみ対象にする
                dtmp.compValue(r[0], float(r[1])) # 気温の比較処理

                # 日時文字列から、月のみを取り出す
                month = datetime.datetime.strptime(r[0], '%Y/%m/%d %H:%M').month
                map[month].compValue(float(r[1])) # 気温の比較処理

    # 結果の表示を行う
    ～中略～
except:
    print('file error')

Pythonの日時処理は、標準ライブラリのdatetimeモジュールを用います。月のみを取り出す処理は、datetime.datetime型のstrptimeメソッドを利用しています。strptimeメソッドでは、Java同様に、日時の書式を指定します。

Dtemp、Mtempクラスの定義と、12ヶ月分のMtempオブジェクトの生成は、次のようになります。Pythonのクラスでは、標準でメンバ全てがpublicとなります。またインスタンス変数の定義は、インスタンスの初期化を行うinitメソッド内に記述します。

Pythonでのハッシュテーブルは、マップ型となります。マップ型は組み込み型のため、{}で簡単に初期化できます。

# 最高・最低気温とその日時を処理するクラス
class Dtemp:
    def __init__(self):
        self.smax = -999.0    # 最高気温、最低気温の保存用
        self.smin = 999.0
        self.max_days = [] # 最高気温の日時
        self.min_days = [] # 最低気温の日時

    # 気温の比較処理
    # 引数は、日時とそのときの気温
    def compValue(self,dstr,tmp):
        if self.max_days.count == 0 or self.smax <= tmp: # 保存した値より大きい場合
            if self.smax < tmp:
                self.max_days.clear()                    # 保存した文字列を削除
            self.smax = tmp
            self.max_days.append(r[0])

        if self.min_days.count == 0 or tmp <= self.smin: # 保存した値より小さい場合
            if tmp < self.smin:
                self.min_days.clear()                    # 保存した文字列を削除
            self.smin = tmp
            self.min_days.append(r[0])

# ひと月の最高・最低気温を処理するクラス
class Mtemp:
    def __init__(self):
        self.smax = -999.0
        self.smin = 999.0
        self.sum = 0.0 # ひと月の気温の合計
        self.ct = 0    # ひと月の気温値の数

    # 気温の比較処理
    # 引数は、気温
    def compValue(self, tmp):
        if self.smax < tmp:
            self.smax = tmp
        if tmp < self.smin:
            self.smin = tmp
        self.sum += tmp
        self.ct += 1

# 12ヶ月分のオブジェクトを作成しておく
map = {}
for i in range(1, 13):
    map[i] = Mtemp()

結果の表示

結果を表示する際は、Pythonでも、変数の埋め込みや書式を指定できます。

for k,v in map.items():
    print(f'{k:2}月 最高：{v.smax:.1f}℃ 最低：{v.smin:.1f}℃ 平均：{(v.sum/v.ct):.1f}℃')

Pythonでは、インデントで文をグループ化しており、JavaやC#のように{}がないため、見た目はかなり異なった印象になります。また、標準ライブラリやオープンソースのライブラリが非常に充実しているので、コード量も少なく済むことが多いです。

最後に

最大、最小を見つけるアルゴリズムは、本当に単純なアルゴリズムですが、プログラムの基礎となる処理といえます。ソースの解説は、スペースの都合上ポイントのみの説明になってしまいましたので、興味があればぜひ全体のコードをダウンロードして、試してみてください。

この記事の内容が、皆さんの参考になれば幸いです。

高江 賢 （たかえ・けん）

監修：WINGSプロジェクト 山田 祥寛
WINGS @yyamada WINGSプロジェクト