Joshua G. Ortiz Baco
このレッスンでは、画像や動画のコレクションデータに基づいてビジュアライゼーションを生成するツールであるImagePlotを紹介します。
［訳者からのお断り］若干原著でのImagePlotの設定指示内容が分かりにくく感じたため、訳者のほうでImagePlotの設定画像を追加しております。
目次
ImagePlotと画像コレクションメタデータの可視化入門
このチュートリアルで学べること
このレッスンでは、画像や動画コレクションデータに基づいてビジュアライゼーションを生成するツールであるImagePlot を紹介します。次のような目的で、このツールを使うにはどうすればよいかを学びます。
- 画像の大きさに関連するメタデータを抽出するため
- 画像の基本的な特性を理解するため
- 視覚的なコレクションのグラフィック表示を作成するため
最後のステップとして、ポスターコレクションのメタデータを補完するために、ImagePlotを通じて生成された測定値を使用します。これらを使ってグラフィカルな表現を作成し、コレクションを探索する際にこのような可視化がどのように役立つかを学びます。
背景情報
ImagePlotとは何か？
このツールは Software Studies Initiativeのチームによって作成されたもので、画像コレクション全体を視界に収めることができるビジュアライゼーションを作成するためのものです。 ImageJと呼ばれるアクセスフリーな別のプログラムのなかで動作します。ImagePlotの作成者は、この種の視覚化と分析を説明するために「遠景」（distant viewing）という用語を使っています。なぜなら、主な出発点または焦点は、一度に1つまたは2つの要素の代わりに、コレクションの要素全体から認識できるものにあるからです。
メタデータの可視化
この意味で、ImagePlot は何十億という資料コレクションのメタデータを処理することができるため、一般的に文化的分析に分類されます。このスケールの可視化は、様々な目的に使用することができます。例えば、経時的変化のデモンストレーション、非典型的特徴を持つ画像の発見、類似画像のグループの検出、コレクション内のパターンの発見など、です。ImagePlotは、類似のソフトウェアと同様に、数値で表現された資料のメタデータを利用して、これらのグラフィカルな表現を生成します。
しかし、データビジュアライゼーションとImagePlotの活用にあたっては、膨大なコレクションは必要ありません。このレッスンでは、このツールを使って、コレクションのいくつかの側面と、特定のコレクションと一般的な視覚資料の両方について問うことができるタイプの問いというものに慣れていきます。
コレクションとメタデータ
このレッスンでは、エル・サルバドルのサン・サルバドルにある言葉とイメージの博物館（Museo de la Palabra y la Imágen／MUPI）のポスターコレクションから、一連の画像を使用します。メタデータに含まれる394のポスターは、エル・サルバドル内戦の12年間（1980-1992）に、少なくとも21カ国から171以上の団体によって作成されたものです。メタデータは、MUPIのスタッフがIniciativas Digitales de América Latina1のチームとともに作成したもので、このレッスンで使用するメタデータシートは、このオリジナルを修正したものです。
ImagePlot
ImagePlotは、Software Studies Initiativeのウェブサイトからダウンロードできます。”ImagePlot_v1.1.zip “と “ImagePlot_v1.1-program-only.zip “の2つの選択肢がありますが、このチュートリアルでは、必要なものすべてが入っていて、ツールの方法論に関連する情報も含まれている前者を使います。今後、データセットと追加の理論や方法論に関する論文を調べることも可能です。また、遠視についてもっと学んだり、ツールの作成過程を学んだりするために、必要な時にImagePlotウェブサイトのチュートリアルを利用するのに便利な追加ファイル（theoryとsample_files）も含まれていることがわかります2。
解凍後のzipファイルはimageplot-masterという名前になります。このファイルはどこに置いてもかまいませんが、このチュートリアルの説明ではコンピュータのデスクトップに置くことを想定しています。また、こちらの画像コレクション3をこの同じフォルダにダウンロードし、ImagePlot が表示時に作成する処理済み画像用に imagenes_miniatura という新しいフォルダを作成しましょう。コレクション画像をダウンロードすると、”dataverse_files.zip “という名前の圧縮フォルダがダウンロードされます。解凍すると、”MANIFEST.TXT “というダウンロードファイルのリスト、mupi_afiches_datos.txtという画像のメタデータファイルの入ったフォルダ、xsという画像の入ったフォルダができます。これらのファイルをimageplot-masterフォルダに移動します。
マクロと測定
imageplot-masterの中にImageJフォルダがあり、その中にij.jarのプログラムがあります。［訳註：Windowsの場合は同じImageJフォルダ内のImageJ.exeをダブルクリックします。］プログラムメニューのPlugins -> Macros -> Runに移動します。すると、imageplot-master/extras フォルダを選択するボックスが開き、その中に ImagePlot で処理を行うための3つのマクロがあります。この種のリソースは、自動的、反復的、連続的な操作を実行するプログラムの命令セットとして機能します。これにより、分析しようとしているアイテムの一つ一つについてサイズを測定するような操作を、手動で選択する手間を省くことができます。
その3つのマクロから imageMeasure.txt を選択します。画像フォルダ（xs）を選択する新しいボックスが開き、次に測定ファイルを保存するフォルダを選択するための別のボックスが開きます。後者のファイルは、ドロップダウンメニューからデスクトップを選択することで、imageplot-masterフォルダに保存することができます。
このプロセスの結果、画像の明度、彩度、色相値、および測定値の標準偏差が得られる。明度はグレースケールでの画像の平均値、彩度は色の強さ、色相はピクセルのRGB値の差に相当します。これらの要素の詳細については 色彩理論を参照してください。
ビッグデータの抱える問題点
この処理には、コレクションのサイズや画像の解像度によって長い時間がかかることがあります。Imageplot が正しく機能するには、最低2GBのメモリが必要ですが、4GB以上を推奨します。また、多くの画像や高解像度の画像を使用すると、プログラムが使用可能なメモリストレージを使い切ってしまう可能性があります。このような場合、このエラーが表示されます：
java.lang.OutOfMemoryError: Java heap space.
これを修正するには、ImageJの[Edit]-> [Option] -> [Memory & Threads]を選択し、Maximum Memoryに表示されるデフォルトの数値、658 MBまたは0.6 GBを変更します。変更を有効にするにはプログラムを再起動する必要があります。
メタデータとビジュアライゼーション
Results画面で右クリックすると、ファイルをフォルダに保存するメニューが表示されます。プログラムは前のステップで測定結果をすでにmeasurements.txtファイルに記録しているため、改めてこれらの結果をコンピュータに保存する必要はありません。このファイルを開くと、.txtの拡張子を持つ文書ファイルであることがわかりますが、フィールドは4つの連続したスペースまたはタブで区切られています。このような構造はタブ区切り値と呼ばれ、ImagePlot がビジュアライゼーションを生成する際にデータとして読み込むことができる唯一の形式となっています。
measurements.txtファイルを開くために使用するプログラムが、filename列と発音記号、つまりñ［訳註：スペイン語に特有の文字、エニェ］を正しくインポートしていることを確認することが重要です。ImagePlot が各画像に対応する測定値を識別するためには、この列の情報が拡張子も含めて画像のファイル名と同一でなければなりません。
シートを開き、生成されたフィールドを見るのは一瞬です。この情報によって、生成された測定値に基づいてコレクションを視覚化することが可能になります。しかし、この可視化は、明度、彩度、色相をただグラフィック表示したのみであり、考えらうる問いはこれら3つの測定値に限定されてしまいます。これらのデータを補完するために、MUPIのスタッフによって作成されたメタデータを、今生成された測定値と一緒に見てみましょう。imageplot-master フォルダから mupi_afiches_datos.txt を開くと、測定値とそれに対応する画像のメタデータが表示されます。参照しやすいように、ImagePlot の測定値はすでにこのシートに組み込まれています。自分のコレクションで作業する場合は、生成した測定値をメタデータに組み込むことになります。
このシートの内容に親しむにはしばらくかかります。ImagePlot は最初の 16 列だけを処理するので、このような順番になっています。コレクションはまだ整理中であるため、記入されていないフィールドや、コレクションの性質上、不明であるためにデータが欠損しているフィールドがあります。メタデータの限界を認識することは重要です。なぜなら、これらはあなたがコレクションにどのようにアプローチするか、また可視化を計画する際にどのような注意を払うべきかに影響するかもしれないからです。
コレクションの可視化とオプションの設定
ここから先、どの特徴を可視化し、どの部分を修正するかを選択できます。次のボックスでは、座標で表されるフィールド、つまりグラフィック内での各画像の位置を決定する測定値を選択できます。これらの値はメタデータシートから取得します。さらに、以下に最小設定とその効果の説明があります。これらの値は、このコレクションのために設定したものであり、他の資料で行う場合には変更する必要があります。
改めて、Plugins -> Macros -> Run を選択し、imageplot-master フォルダにある、ビジュアライゼーションを作成するために必要なマクロ ImagePlot.txt を選択します。表示されるボックスで、DataとImagesのオプションをOpen...に設定しておくと、ツールは次のステップでその情報を要求します。最初に画像を処理するときは、Save thumbnail images（サムネイル画像を保存する）というオプションをチェックします。これは、ImagePlotがコレクションを処理する一部としてサムネイル画像を生成し、それを保存することで、その後の表示がより速くなるからです。最後に、表示が円形にならないように Polar の選択を解除します – これは後で解釈するのに役立ちます – そして、次のステップで最終的な表示に調整を加えることができるように、Options にチェックを入れます。
okを押すと、ボックスが立ち上がるので、まずmupi_afiches_dataシートを選択します。次に別のボックス［Choose a directory contationg images（ImagePlot）］が立ち上がるので、画像フォルダ（imageplot-master > xs）を選択します。最後に、Save thumbnail imagesの設定（Choose a directory to save resized images）が表示されますので、imagenes_miniaturaフォルダを選択します。
軸の選択
Image filenameのオプションには、画像ファイル名が記載されているid(Column0)を反映する必要があります。横軸であるX axisには、country-id(Column7)を選択します。country-id列は、コレクションで表現される各国固有の番号に対応しています。縦軸のY axisには、色相平均の差に対応するhue_stdev(Column6)を選択します。これは例えば、赤とピンク、青とスカイブルーの違いの程度を測定するものです。このデータの可視化は、国別にグループ分けされたポスター間の色相がどの程度似ているか、あるいは異なっているかを示すように設計しているものです。
キャンバス、ラベル、画像、軸の調整
次のボックスはオプション設定です。このレッスンでは、Canvas、Lines、Labels、Images、Axis、Rangeを変更します。
［訳註：Optionsの設定では上記項目（Pointsを除くすべて）を選択し、OKをクリックします］
Canvasは、グラフィックが表示されるキャンバスです。キャンバスの端とグラフィックの間に十分なスペースがあるように、Border sizeフィールドを800ピクセルに変更します。
Elementsボックスには、各画像に付随するラベルを設定します。ポスターを作成した組織に対応するcname1（Column8）を選択し、フォントサイズは32ptのままにしておきます。
Imagesでは、見分けがつくようにサムネイル画像のサイズを大きくし、Thumbnail widthを400ピクセルにします。
Axesでは、Axis line width（軸線の太さ）、Font size（フォントサイズ）、Tick size（目盛りサイズ）それぞれを100pxに変更します。ここで、Mark by distance between labels（ラベル間の距離）を選択し、Axis labelsをfor X: 1、for Y: 10に設定します。これらの値の差は、X軸には国ごとに0～21の合計22のユニークな識別子があることに対応していますが、Y軸の色相の変化の幅は0.03～123.30です。distance between labelsの値が大きすぎても小さすぎても、画像が区別できなくなったり、離れているためにラベル間の関係がわかりにくくなったりする危険性があります。
次のステップでも同様に、Rangeで軸の範囲を次のように選択します：X start value: 0 units、X end value: 25 units、Y start value: -10 units、そしてY end value: 125 unitsです。”X range specified?”および “Y range specified?”にチェックを入れることを確認してください。そうしないと、プログラムはその値を無視してしまいます（X軸とY軸の範囲を指定するものです）。
コレクションの可視化を分析する
キャンバスが開き、画像が少しずつ表示され始めます。繰り返しますが、作業している画像の数によって、このプロセスにかかる時間は多少異なります。可視化結果は、ファイル(File) -> 名前を付けて保存(Save As)で保存できますが、理由は不明ながらImagePlotはTIF形式でしか保存することができません。
これで、TIFFを開くことのできるプログラムならば、可視化結果を確認することができます。この初めての可視化結果には、一見してわかる興味深い点が2つあります。まず、7列目のエルサルバドル・カテゴリーにかなりの数の画像があり、次に多いのが最後の列です。後者は、country-id(Column7)列がゼロの画像、つまり、国を割り当てることができるような地理的情報を持っていない列です。2つ目は、軸の値の上限は、赤が優勢な画像があるようで、他より高い列が5つあるということです。
この視覚表現を基に、コレクションとそのメタデータの性質を常に意識しながら、最も高い階調値で表現されている国同士の美的類似性の可能性という最初の問いが導き出されます。この問いはコレクションの探索にどのように役立つでしょうか？可視化結果の最後の列に注目すると、その位置から、他の4枚と色相が類似している2枚の画像があることに気づくでしょう。この比較をする際、ポスターで使われている言語であるフランス語にも注目し、フランス語圏の国が他の4つの列のどれかで表現されているかどうかを見てみましょう。実際、10列目にはフランスが、19列目にはスイスがあります。正体不明のポスターの出所を確認するには、さらに多くの情報を発見しなければなりませんが、ImagePlotを使った遠くから見せる可視化手法は、どこから始めるべきかという手がかりを与えてくれているのです。
- 本コレクションのデジタル化は、アンドリュー・W・メロン財団からの助成金により一部実現したものです。
- ここから、ImagePlotのクリエーターによって開発されたその他のプロジェクトをご覧いただけます。
- このリンクは外部リポジトリのページを開きます。ダウンロードボタンをクリックする前に、左側のファイル数のボックスにチェックを入れ、すべてのファイルをダウンロードするために、
Select all 395 files in this datasetオプションをクリックする必要があります。その後、あなたに関する情報（名前、Eメール、所属機関、役職、資料の主な用途、住んでいる国・都市）を尋ねる別の画面が表示されます。この情報は、リポジトリ管理者がユーザのプロファイルを知るのに役立つものです。
著者について
Joshua G. Ortiz Bacoは、テネシー大学ノックスビル校の准教授です。
引用の際はこちらをご利用ください
<原著>
Joshua G. Ortiz Baco, “Introducción a ImagePlot y la visualización de metadatos de colecciones de imágenes”, Programming Historian en español 4 (2020), https://doi.org/10.46430/phes0046.
＜翻訳記事＞
Joshua G. Ortiz Baco著, 菊池信彦訳. ImagePlotおよび画像コレクションメタデータの可視化入門. DH研究情報ポータル. 2023. https://dhportal.ac.jp/?p=1667
この 作品 は クリエイティブ・コモンズ 表示 4.0 国際 ライセンスの下に提供されています。