Bab 11. Konversi data

	Tip
	iconv(1) disediakan sebagai bagian dari paket libc6 dan selalu tersedia di hampir semua sistem mirip Unix untuk mengonversi pengodean karakter.

Anda dapat mengonversi pengodean berkas teks dengan iconv(1) dengan yang berikut ini.

$ iconv -f encoding1 -t encoding2 input.txt >output.txt

Nilai pengodean tidak membedakan huruf besar kecil dan mengabaikan "-" dan "_" untuk pencocokkan. Pengodean yang didukung dapat diperiksa oleh perintah "iconv -l".

	Catatan
	Beberapa pengodean hanya didukung untuk konversi data dan tidak digunakan sebagai nilai lokal (Bagian 8.1, “Lokal”).

Untuk set karakter yang masuk dalam byte tunggal seperti set karakter ASCII dan ISO-8859, pengodean karakter berarti hampir sama dengan set karakter.

Untuk set karakter dengan banyak karakter seperti JIS X 0213 untuk Jepang atau Universal Character Set (UCS, Unicode, ISO-10646-1) untuk hampir semua bahasa, ada banyak skema pengodean yang sesuai dengan mereka ke dalam urutan data byte.

Untuk ini, ada diferensiasi yang jelas antara set karakter dan pengodean karakter.

Code page digunakan sebagai sinonim untuk tabel pengodean karakter untuk beberapa vendor tertentu.

Catatan

Harap dicatat sebagian besar sistem pengodean berbagi kode yang sama dengan ASCII untuk karakter 7 bit. Tapi ada beberapa pengecualian. Jika Anda mengonversi program C Jepang lama dan data URL dari format pengodean yang disebut santai shift-JIS ke format UTF-8, gunakan "CP932" sebagai nama pengodean alih-alih "shift-JIS" untuk mendapatkan hasil yang diharapkan: 0x5C → "\" dan 0x7E → "~". Jika tidak, ini diubah menjadi karakter yang salah.

	Tip
	recode(1) dapat digunakan juga dan menawarkan lebih dari fungsi gabungan iconv(1), fromdos(1), todos(1), frommac(1), dan tomac(1). Untuk informasi lebih lanjut, lihat "info recode".

#!/bin/sh
ENCDN=iso-8859-1
for x in *;
 do
 mv "$x" "$(echo "$x" | iconv -f $ENCDN -t utf-8)"
done

Variabel "$ENCDN" menentukan pengodean asli yang digunakan untuk nama berkas di bawah OS yang lebih tua seperti dalam Tabel 11.2, “Daftar nilai pengodean dan penggunaannya”.

Untuk kasus yang lebih rumit, silakan kait suatu sistem berkas (misalnya partisi pada disk drive) yang berisi nama berkas tersebut dengan pengodean yang tepat sebagai opsi mount(8) (lihat Bagian 8.1.3, “Pengodean nama berkas”) dan menyalin seluruh isinya ke sistem berkas lain yang dikait sebagai UTF-8 dengan perintah "cp -a".

$ vim u-file.txt

$ vim '+e ++enc=latin2 pu-file.txt'

$ vim '+e ++enc=eucJP ju-file.txt'

$ vim '+e ++enc=CP932 ++ff=dos jw-file.txt'

Silakan lihat mbyte.txt "dukungan teks multi-byte" dalam bantuan daring vim dan Tabel 11.2, “Daftar nilai pengodean dan penggunaannya” untuk nilai lokal yang digunakan dengan "++enc".

Program keluarga emacs dapat melakukan fungsi yang setara.

Teks XML terlihat agak mirip HTML. Ini memungkinkan kita untuk mengelola beberapa format keluaran untuk dokumen. Salah satu sistem XML yang mudah adalah paket docbook-xsl, yang digunakan di sini.

Setiap berkas XML dimulai dengan deklarasi XML standar sebagai berikut.

<?xml version="1.0" encoding="UTF-8"?>

Sintaks dasar untuk satu elemen XML ditandai sebagai berikut.

<name attribute="value">content</name>

Elemen XML dengan konten kosong ditandai dalam bentuk pendek berikut.

<name attribute="value" />

"attribute="nilai"" dalam contoh di atas adalah opsional.

Bagian komentar dalam XML ditandai sebagai berikut.

<!-- comment -->

Selain menambahkan markup, XML memerlukan konversi kecil ke konten menggunakan entitas terpradefinisi untuk karakter-karakter berikut.

	Perhatian
	"<" atau "&" tidak dapat digunakan dalam atribut atau elemen.

	Catatan
	Ketika entitas tentuan pengguna gaya SGML, misalnya "&tag-anu;", digunakan, definisi pertama menang atas yang lain. Definisi entitas dinyatakan dalam "<!ENTITY tag-anu "entity value">".

	Catatan
	Selama markup XML dilakukan secara konsisten dengan set tertentu dari nama tag (baik beberapa data sebagai konten atau nilai atribut), konversi ke XML lain adalah tugas sepele menggunakan Extensible Stylesheet Language Transformations (XSLT).

Ada banyak alat yang tersedia untuk memproses berkas XML seperti Extensible Stylesheet Language (XSL).

Pada dasarnya, setelah Anda membuat berkas XML yang terbentuk dengan baik, Anda dapat mengonversinya ke format apa pun menggunakan Extensible Stylesheet Language Transformations (XSLT).

Extensible Stylesheet Language for Formatting Objects (XSL-FO) seharusnya menjadi solusi untuk pemformatan. Paket fop baru di arsip main Debian karena ketergantungannya pada bahasa pemrograman Java. Jadi kode LaTeX biasanya dihasilkan dari XML menggunakan XSLT dan sistem LaTeX digunakan untuk membuat berkas yang dapat dicetak seperti DVI, PostScript, dan PDF.

Karena XML adalah bagian dari Standard Generalized Markup Language (SGML), itu dapat diproses oleh alat yang banyak tersedia untuk SGML, seperti Document Style Semantics and Specification Language (DSSSL).

	Tip
	GNOME yelp kadang-kadang berguna untuk membaca berkas XML Docbook secara langsung karena itu merender secara layak pada X.

Secara tradisional, roff adalah sistem pemrosesan teks Unix utama. Lihat roff(7), groff(7), groff(1), grotty(1), troff(1), groff_mdoc(7), groff_man(7), groff_ms(7), groff_me(7), groff_mm(7), dan "info groff".

Anda dapat membaca atau mencetak tutorial dan referensi yang bagus tentang "-me" makro di "/usr/share/doc/groff/" dengan memasang paket groff.

	Tip
	"groff -Tascii -me -" menghasilkan keluaran teks polos dengan kode escape ANSI. Jika Anda ingin mendapatkan keluaran mirip manpage dengan banyak "^H" dan "_", gunakan "GROFF_NO_SGR=1 groff -Tascii -me -" sebagai gantinya.

	Tip
	Untuk menghapus "^H" dan "_" dari berkas teks yang dihasilkan oleh groff, filter dengan "col -b -x".

Distribusi perangkat lunak TeX Live menawarkan sistem TeX yang lengkap. Metapackage texlive menyediakan pilihan yang layak dari paket TeX Live yang seharusnya cukup untuk tugas yang paling umum.

Ada banyak referensi yang tersedia untuk TeX dan LaTeX.

Ini adalah lingkungan tata cetak yang paling kuat. Banyak prosesor SGML menggunakan ini sebagai prosesor teks back end mereka. Lyx yang disediakan oleh paket lyx dan GNU TeXmacs yang disediakan oleh paket texmacs menawarkan lingkungan penyuntingan WYSIWYG yang bagus untuk LaTeX sementara banyak yang menggunakan Emacs dan Vim sebagai pilihan untuk penyunting sumber.

Ada banyak sumber daya daring yang tersedia.

Ketika dokumen menjadi lebih besar, terkadang TeX dapat menyebabkan kesalahan. Anda harus meningkatkan ukuran pool di "/etc/texmf/texmf.cnf" (atau lebih tepat menyunting "/etc/texmf/texmf.d/95NonPath" dan menjalankan update-texmf(8)) untuk memperbaiki ini.

Catatan

The TeX source of "The TeXbook" is available at www.ctan.org tex-archive site for texbook.tex. This file contains most of the required macros. I heard that you can process this document with tex(1) after commenting lines 7 to 10 and adding "\input manmac \proofmodefalse". It's strongly recommended to buy this book (and all other books from Donald E. Knuth) instead of using the online version but the source is a great example of TeX input!

Meskipun menulis halaman manual (manpage) dalam format troff polos adalah mungkin, ada beberapa paket pembantu untuk membuatnya.

Inti dari manipulasi data yang dapat dicetak adalah interpreter PostScript (PS) Ghostscript yang menghasilkan gambar raster.

	Tip
	"gs -h" dapat menampilkan konfigurasi Ghostscript.

Anda dapat menggabungkan dua berkas PostScript (PS) atau Portable Document Format (PDF) menggunakan gs(1) dari Ghostscript.

$ gs -q -dNOPAUSE -dBATCH -sDEVICE=pswrite -sOutputFile=bla.ps -f foo1.ps foo2.ps
$ gs -q -dNOPAUSE -dBATCH -sDEVICE=pdfwrite -sOutputFile=bla.pdf -f foo1.pdf foo2.pdf

	Catatan
	PDF, yang merupakan format data cetak lintas platform yang banyak digunakan, pada dasarnya adalah format PS terkompresi dengan beberapa fitur dan ekstensi tambahan.

	Tip
	Untuk baris perintah, psmerge(1) dan perintah lainnya dari paket psutils berguna untuk memanipulasi dokumen PostScript. pdftk(1) dari paket pdftk berguna untuk memanipulasi dokumen PDF juga.

Perintah lp(1) dan lpr(1) yang ditawarkan oleh Common Unix Printing System (CUPS) menyediakan opsi untuk pencetakan data yang dapat dicetak secara disesuaikan.

Anda dapat mencetak 3 salinan berkas yang dikolasi menggunakan salah satu perintah berikut.

$ lp -n 3 -o Collate=True filename

$ lpr -#3 -o Collate=True filename

Anda dapat lebih jauh menyesuaikan operasi pencetak dengan menggunakan opsi pencetak seperti "-o number-up=2", "-o page-set=even", "-o page-set=odd","-o scaling=200","-o natural-scaling=200",dll., yang didokumentasikan di Command-Line Printing and Options.

Data surat (SMTP) harus dibatasi pada serangkaian data 7 bit. Jadi data biner dan data teks 8 bit dikodekan ke dalam format 7 bit dengan Multipurpose Internet Mail Extensions (MIME) dan pemilihan charset (lihat Tabel 11.2, “Daftar nilai pengodean dan penggunaannya”).

Format penyimpanan surat standar diformat mbox sesuai dengan RFC2822 (memperbarui RFC822). Lihat mbox(5) (disediakan oleh paket mutt).

Untuk bahasa Eropa, "Content-Transfer-Encoding: quoted-printable" dengan charset ISO-8859-1 biasanya digunakan untuk surat karena tidak ada banyak karakter 8 bit. Jika teks Eropa dikodekan dalam UTF-8, "Content-Transfer-Encoding: quoted-printable" kemungkinan akan digunakan karena sebagian besar data 7 bit.

Untuk bahasa Jepang, secara tradisional "Content-Type: text/plain; charset=ISO-2022-JP" biasanya digunakan untuk surat untuk menyimpan teks dalam 7 bit. Tetapi sistem Microsoft yang lebih lama dapat mengirim data surel dalam Shift-JIS tanpa deklarasi yang tepat. Jika teks Jepang dikodekan dalam UTF-8, Base64 kemungkinan akan digunakan karena berisi banyak data 8 bit. Situasi bahasa Asia lainnya serupa.

	Catatan
	Jika data surel non-Unix Anda dapat diakses oleh perangkat lunak klien non-Debian yang dapat berbicara dengan server IMAP4, Anda mungkin dapat memindahkannya dengan menjalankan server IMAP4 Anda sendiri.

	Catatan
	Jika Anda menggunakan format penyimpanan surel lainnya, memindahkannya ke format mbox adalah langkah pertama yang baik. Program klien serbaguna seperti mutt(1) mungkin berguna untuk ini.

Anda dapat memecah konten kotak surat ke setiap pesan menggunakan procmail(1) dan formail(1).

Setiap pesan surat dapat dibongkar menggunakan munpack(1) dari paket mpack (atau alat khusus lainnya) untuk mendapatkan konten yang dikodekan MIME.

The following metapackages are good starting points for searching graphics data tools using aptitude(8). "Packages overview for Debian PhotoTools Maintainers" can be another starting point.

	Tip
	Cari lebih banyak alat gambar menggunakan regex "~Gworks-with::image" dalam aptitude(8) (lihat Bagian 2.2.6, “Opsi metode pencarian dengan aptitude”).